朱晔的互联网架构实践心得S1E4:简单好用的监控六兄弟
这里所说的六兄弟只指ELK套件(ElasticSearch+Logstash+Kibana)以及TIG套件(Telegraf+InfluxDb+Grafana)。
上图显示了两套独立的体系,ELK和TIG(TIG是我自己编出来的,网上没有类似于ELK这种约定俗成的说法):
这两套体系都由收集器+存储+展示网站构成,青绿色的收集器,蓝绿色的存储,红色的展示网站。
这两套体系都有免费的组件可以使用,安装配置也相对简单(当然公司也要赚钱,他们肯定都主推Cloud版本,一般也不会用Cloud版本,肯定本地部署)。
ELK体系更多用于日志类数据的收集、保存、搜索、查看、报警。
TIG体系更多用于各种Metrics指标类数据的收集、保存、查看、报警。
对于ELK,由于日志数据量往往较大,并且突发日志激增的情况很普遍,写入索引没有这么快,所以一般会引入Kafka之类的消息队列在之前挡一挡。
对于ELK,在进入ES之前数据会有一些过滤解析和额外的报警之类的需求,所以可以使用logstash在之前作为一个汇聚处理层,利用丰富的插件做各种处理。但是logstash的性能不是那么高,对资源的消耗很厉害,使用的时候需要注意。
有关ELK
上图是Kibana