elasticsearch queue capacity 摘自https://www.loggly.com/blog/nine-tips-configuring-elasticsearch-for-high-performance/Note that in ES the bulk requests queue contains one item per shard, so this number needs to be higher than t
redis fork时无法分配内存 状况:redis日志中一直打印无法分配内存的信息 Can't save in background: fork: Cannot allocate memory原因:redis在dump数据的时候,会fork出一个子进程,理论上child进程所占用的内存和parent是一样的解决方案:将内存分配策略应该设置为 1(表示内核允许分配所有的物理内存,而不管当前的内存状态
elasticsearch jvm内存配置 转载:http://jprante.github.io/2012/11/28/Elasticsearch-Java-Virtual-Machine-settings-explained.html
elasticsearch时间格式索引管理工具: curator curator是一个用于管理elasticsearchsuo yihttps://github.com/elasticsearch/curator
乡村与城市摘录 乡村与城市《湖上闲思录》- 钱穆自然、孤独与安定,如木之根,水之源。文化、大群与活动,如木之枝,水之流。若文化远离了自然,则此文化必渐趋枯萎。若大群泯失了孤独,此大群必渐成空洞。若活动损害了安定,此活动也必渐感怠倦,而终于不可久。人生无不想摆脱自然,创建文化,无不想把自己的孤独投进大群,无不想在安定中寻求活动。但这里有一限度,正如树木无不想从根向上长,水无不想从源向前流。但
storm的一些基本概念 要了解storm,首先需要了解以下几个概念1. 拓扑Topologies 一个实时应用程序的逻辑被打包成一个Storm的拓扑。一个拓扑类似于Hadoop中的MapReduce作业。但是MapReduce作业最终会运行完成,而一个拓扑作业将一直运行。除非显示的将它杀死。一个拓扑是一张图,这张图由管口spouts和门闩bolts,以及连接他们的流stream所组成。2. 流ste
Leiningen uberjar时不打包指定的jar 用Clojure写Nutch的插件,打包时遇到一个问题:由于依赖于nutch和hadoop-core的jar,最后用uberjar打包大小为30多M,如果去了这两个以及依赖的包,可以裁剪到6M。因为最终运行环境中已经包含了这两个包,所以实在是多余。 解决的办法:在project.clj中添加一个provided的profiles, 具体如下 :profiles {:dev {
homebrew设置代理 由于sourceforge被墙,homebrew下载不到一些包。因为homebrew是通过curl去下载包的,所以只要配置了curl的代理就可以搞定。curl代理的设置方法:1. 在~/.crulrc中添加一行 proxy = :2. 使用参数 -x :, 开始用这个做了一个匿名,不过貌似在homebrew中不管用3. curl能
mysql 连接报错 ERROR 1045 (28000): Access denied for user 启动mysql服务的时候加上参数 --skip-grant-tables即可如:bin/mysqld_safe --skip-grant-tables
ring和compojure 使用clojure构建web应用程序,一般会用到这两个函数库。其中,ring负责请求和响应数据结构的转换,compojure用于路由。当然上层还会有enlive,hiccup等web模版化的函数库。
clojure学习资源 cheat sheet: http://clojure.org/cheatsheet4clojure,线上小测试:http://www.4clojure.com/在线api文档,比doc详细:http://clojuredocs.org/leiningen中文教程:http://blog.clojure.cn/?p=126clojure风格指南:http://lisp.tw/2013/02/
hadoop LoadGenerator hadoop LoadGenerator 综合负载测试工具,位于/hadoop/common/trunk/src/test/core/org/apache/hadoop/fs/loadGenerator下 包含三个工具,可单独编译, LoadGenerator DataGenerator StructureGenerator StructureGenerator 用于生成
secondary namenode checkpoint失败 将secondary namenode部署到另一台机器后,checkpoint失败检查log,发现连接时抛出异常 2010-10-12 13:39:35,402 ERROR namenode.SecondaryNameNode (SecondaryNameNode.java:run(229)) - Exception in doCheckpoint:2010-10-12
linux hook api 编译hook库 gcc -shared 源文件名 -o 共享库文件名 -ldl -fPIC 如果共享库中用到了dlopen则需要-ldl 设置环境变量 LD_PRELOAD如 LD_PRELOAD="./libmyc.so"