Elk是Elastic search, Logstash和Kibana三者的简称。
Elastic search顾名思义是致力于搜索,它是一个弹性搜索的技术平台,与其相似的有Solr,二者的对比可参考下面这篇文章:
Elastic search与Solr选型
总结一下就是,如果你不喜欢夜店咖还是喜欢忠实可靠的老婆,那选Elastic search准没错,何况他还有那么一点美。目前运用ES的案例也不少了,比如it屌丝们都爱的Git hub以及我D痛恨的Wiki。
Logstash,也可以顾名思义一下,stash的意思是藏匿处,所以……其实并不完全准确,Logstash是用来做日志采集,藏匿几乎就不由他管了,藏匿由谁管呢,聪明的看官肯定能猜到是ES了。但是这也不完全准确,在ELK的运维环境中肯定是ES没跑了,不过Logstash支持各种输出源,包括redis,s3,mongodb以及kafka,甚至对于情怀粉(不嘛,人家就喜欢刺刀,不要枪炮,拼刀才爷们)吧,还贴心的支持http的远程写文件方案。总之我们能想到的,作者也想到了,我们没能想到的,作者也想到了,如果有作者没能写到的,那也没关系,你可以自己写插件。什么?你写不出来?写不出来就不要瞎bb,找个现成能用的。相对应的,ES也支持各种输入源,从基本的stdin到file到redis到……
Kibana,呃,羔羊肉饼。估计作者是个洋鬼子北京情怀蜜吧,代码写多了,看着掉了一地的头发,想着要是能吃份东来顺的铜锅涮羊肉多好,然后取了这鬼名字吧。Kibana主要是用于ES分析和查询。Elk里本来完全可以不用带他的,用用ES的head和bigdesk插件也蛮好,不过Kibana的管理和查询用起来确实方便很多,人嘛,有枪炮用何必非要用刺刀,默默想到楼主的前东家。
那个奶妈形态的德鲁伊就是Logstash,agent只是Logstash承担的一个角色,与此对应的是indexer。agent会分别将各自获取的日志作为输入输出到一个消息代理(例如redis或者kafka),indexer会将消息代理作为输入再输出到ES上,由ES做indexing。其实Logstash在整个过程中只负责输入输出,对Logstash而言并没有agent和index之分。如果日志量小的话完全不需要设置indexer,直接将ES作为agent的输出源。
Elastic search
环境准备:
Jdk7及以上,Logstash2.1明确只支持Jdk7。
Elastic search, Kibana, Logstash下载地址
ES不能以root权限启动。
楼主的环境;
10.0.250.90 9200 9300
10.0.250.90 9201 9301
10.0.250.90 9200 9300
第一个端口是对外提供http服务的接口,第二个端口是集群交换协议的端口。
cd /opt/elasticsearch-2.1.0/config
vim elasticsearch.yml
以10.0.250.90 9200 9300为例。
修改集群名称,ES默认通过广播发现节点,所有在广播里声明为同一个集群名称的节点都会被自动加入集群中。
cluster.name: es