mllhxn的专栏

关于kibana搜索语法的原文链接是，http://xiaorui.cc/?p=1099在kibana搜索的时候，可以简单的使用 Lucene通用的语法，或者使用基于JSON格式QueryDSL（DSL：领域特定语言）来构造搜索各种请求（更加灵活，方便构造复杂查询）。ElasticSearch 的各种语法，我还算熟悉的，但是在kibana这个强大的图表系统里面，居然迷失自我了 。 Lucene提供了

Elasticsearch有一个功能叫做 聚合(aggregations) ，它允许你在数据上生成复杂的分析统计。它很像SQL中的 GROUP BY 但是功能更强大。Aggregations种类分为:Metrics, Metrics 是简单的对过滤出来的数据集进行avg,max等操作，是一个单一的数值。Bucket, Bucket 你则可以理解为将过滤出来的数据集按条件分成多个

转载：http://www.infoq.com/cn/articles/anatomy-of-an-elasticsearch-cluster-part03近实时搜索虽然Elasticsearch中的变更不能立即可见，它还是提供了一个近实时的搜索引擎。如前一篇中所述，提交Lucene的变更到磁盘是一个代价昂贵的操作。为了避免在文档对查询依然有效的时候，提交变更到磁盘，Elastic

转载：http://www.infoq.com/cn/articles/anatomy-of-an-elasticsearch-cluster-part02共识——裂脑问题及法定票数的重要性共识是分布式系统的一项基本挑战。它要求系统中的所有进程/节点必须对给定数据的值/状态达成共识。已经有很多共识算法诸如Raft、Paxos等，从数学上的证明了是行得通的。但是，Elasticsea

转载：http://www.infoq.com/cn/articles/analysis-of-elasticsearch-cluster-part011.辨析Elasticsearch的索引与Lucene的索引Elasticsearch中的索引是组织数据的逻辑空间(就好比数据库)。1个Elasticsearch的索引有1个或者多个分片(默认是5个)。分片对应实际存储数据的Luce

问题一：[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter:Java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CON

有些日志是分多行输出的，为了能正确的处理这些多行的事件，logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的，需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是本文要说到的logstash管道multiline codec，专门来处理合并多行事件的。multiline插件最重要的方面： pattern 选项指定一个正则表达式。 事件匹配指

一、服务器部署算法的基本思想 1、增加1-2台服务器，用于负载均衡节点 elasticSearch的配置文件中有2个参数：node.master和node.data。这两个参 数搭配使用时，能够帮助提供服务器性能。 1.1> node.master: false node.data: true 该node服务器只作为一个数据节点，只用于存

转：http://blog.csdn.net/an74520/article/details/42871023 当修改配置时可能需要重启集群才生效，或者集群发生严重错误无法恢复时都可能需要重启集群 一个集群节点重启前要先临时禁用自动分配，设置cluster.routing.allocation.enable为none，否则节点停止后，当前节点的分片会自动分配到其他节点上，本节点启动后需要等其他节

转：http://donlianli.iteye.com/blog/1924721?utm_source=tuicool&utm_medium=referralstep1、创建一个索引，这个索引的名称最好带上版本号，比如my_index_v1,my_index_v2等。 step2、创建一个指向本索引的同义词。curl -XPOST localhost:9200/_aliases -d '{

转:http://keenwon.com/1393.html备份Elasticsearch的一大特点就是使用简单，api也比较强大，备份也不例外。简单来说，备份分两步：1、创建一个仓库。2、备份指定索引。下面一步一步来：1、创建一个仓库（creating the repository）备份数据之前，要创建一个仓库来保存数据，仓库的类型支持Shared filesystem, Amazon S3, H

input{ kafka { zk_connect => "fuze245:2181,fuze246:2181" group_id => "nginx_es" topic_id => "nginx_es" reset_beginning => false # boolean (optional)， default: false consu

根据Elasticsearch中文社区《ES冷热分离(读写分离) hot, stale 场景》一篇整理的。一、冷热分离按《控制Elasticsearch分片和副本的分配》来设置，将hot,stale数据分到不同的集群上去hot集群只保留最近一天或两天数据写一个定时任务每天凌晨将前一天的索引标记为stalePUT /index_name/_settings{ "i

Java代码  cluster.routing.allocation.allow_rebalance  设置根据集群中机器的状态来重新分配分片，可以设置为always, indices_primaries_active和indices_all_active，默认是设置成indices_all_active来减少集群初始启动时机器之间的交互。 Java代码

ES集群中索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，我们可以处理不能在一个单一的服务器上面运行的大型索引，简单的说就是索引的大小过大，导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本，通过将副本分配到多个服务器，可以提高查询的负载能力。     为了进行分片和副本的操作，ES需要确定将这些分片和副本放到集群节点的哪

curl -XPUT -u admin ‘http://192.168.1.246:9200/_license’ -d @xxx-10bd4115-e4c9-45c8-b32e-f3a04a6a0501.curl -XPUT -u admin ‘http://192.168.1.246:9200/_license?acknowledge=true’ -d @xxx-10bd4115-e4c9-45c

1

返回说明 took —— Elasticsearch执行这个搜索的耗时，以毫秒为单位 timed_out —— 指明这个搜索是否超时 _shards —— 指出多少个分片被搜索了，同时也指出了成功/失败的被搜索的shards的数量 hits —— 搜索结果 hits.total ——

Elasticsearch中有几个关键属性容易混淆，很多人搞不清楚_source字段里存储的是什么？store属性的true或false和_source字段有什么关系？store属性设置为true和_all有什么关系？index属性又起到什么作用？什么时候设置store属性为true？什么时候应该开启_all字段？本文通过图解的方式，深入理解Elasticsearch中的_source、_all、