用ELK打造可视化集中式日志

Elk是Elastic search, Logstash和Kibana三者的简称。

Elastic search顾名思义是致力于搜索，它是一个弹性搜索的技术平台，与其相似的有Solr，二者的对比可参考下面这篇文章：
Elastic search与Solr选型

总结一下就是，如果你不喜欢夜店咖还是喜欢忠实可靠的老婆，那选Elastic search准没错，何况他还有那么一点美。目前运用ES的案例也不少了，比如it屌丝们都爱的Git hub以及我D痛恨的Wiki。

Logstash，也可以顾名思义一下，stash的意思是藏匿处，所以……其实并不完全准确，Logstash是用来做日志采集，藏匿几乎就不由他管了，藏匿由谁管呢，聪明的看官肯定能猜到是ES了。但是这也不完全准确，在ELK的运维环境中肯定是ES没跑了，不过Logstash支持各种输出源，包括redis，s3，mongodb以及kafka，甚至对于情怀粉（不嘛，人家就喜欢刺刀，不要枪炮，拼刀才爷们）吧，还贴心的支持http的远程写文件方案。总之我们能想到的，作者也想到了，我们没能想到的，作者也想到了，如果有作者没能写到的，那也没关系，你可以自己写插件。什么？你写不出来？写不出来就不要瞎bb，找个现成能用的。相对应的，ES也支持各种输入源，从基本的stdin到file到redis到……

Kibana，呃，羔羊肉饼。估计作者是个洋鬼子北京情怀蜜吧，代码写多了，看着掉了一地的头发，想着要是能吃份东来顺的铜锅涮羊肉多好，然后取了这鬼名字吧。Kibana主要是用于ES分析和查询。Elk里本来完全可以不用带他的，用用ES的head和bigdesk插件也蛮好，不过Kibana的管理和查询用起来确实方便很多，人嘛，有枪炮用何必非要用刺刀，默默想到楼主的前东家。

那个奶妈形态的德鲁伊就是Logstash，agent只是Logstash承担的一个角色，与此对应的是indexer。agent会分别将各自获取的日志作为输入输出到一个消息代理（例如redis或者kafka），indexer会将消息代理作为输入再输出到ES上，由ES做indexing。其实Logstash在整个过程中只负责输入输出，对Logstash而言并没有agent和index之分。如果日志量小的话完全不需要设置indexer，直接将ES作为agent的输出源。

Elastic search

环境准备：
Jdk7及以上，Logstash2.1明确只支持Jdk7。
Elastic search, Kibana, Logstash下载地址
ES不能以root权限启动。

楼主的环境;
10.0.250.90 9200 9300
10.0.250.90 9201 9301
10.0.250.90 9200 9300
第一个端口是对外提供http服务的接口，第二个端口是集群交换协议的端口。

cd /opt/elasticsearch-2.1.0/config
vim elasticsearch.yml

以10.0.250.90 9200 9300为例。
修改集群名称，ES默认通过广播发现节点，所有在广播里声明为同一个集群名称的节点都会被自动加入集群中。

cluster.name: es