ELK日志分析系统介绍
在小规模项目中,当我们需要查看运行日志时,通常只需查看日志文件就可以了;但是在规模较大的场景中,假设你要管理这里的多台服务器,当出现问题时,如果你再一个一个的查看日志文件那就太影响效率了,那么有什么方案可以替我们简化工作呢?
ELK(elasticsearch+logstash+kibana)就为我们提供了一整套的解决方案,也是目前一种主流的日志分析系统。
原理
一般架构中,是使用logstash-agent先对日志文件进行筛选分类,然后输出到消息队列如kafka等来对消息进行缓存;logstash再从消息队列中拿去日志消息再进行过滤、分类并输出给elasticsearch进行存储;最后由Kibana将日志和数据呈现给用户。
搭建简单的elk
elasticsearch
介绍
是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等: