一、ELKStack简介
Elstaicsearch:存储和搜索 logstash:收集 kibana:展示.专门为ES设计的展示平台
二、ELK之生还环境案例
架构图:
环境准备
IP 主机名 操作系统 192.168.56.11 linux-node1 centos7 192.168.56.12 linux-node2 centos7
1、需求分析
生产环境需求分析
访问日志:apache访问日志、nginx访问日志、tomcat 错误日志:error log、java日志(多行处理) 系统日志:/var/log/* 、 syslog 运行日志:程序写的 (file插件) 网络日志:防火墙、交换机、路由器日志
2、前期准备
(1).标准化: 日志存放位置标准化:/data/logs/ 日志格式标准化: JSON 命名规则标准化: access_log,error_log,runtime_log 日志切割标准化:按天、按小时 原始日志文件处理标准化: 通过rsync到NAS,然后删除最近三天前的。 (2).工具化: 如何使用logstash进行收集
3、生产环境案例
在192.168.56.11上我们用apache的日志和elasticsearch的日志做分析,用logstash收取apache的访问日志和es的日志(es的日志是java日志),写入redis
[root@linux-node1 /etc/logstash/conf.d]# cat apache.conf input { file { path => "/var/log/httpd/access_log" #apache日志目录 start_position => "beginning" #从头开始收集 type => "apache-accesslog" #日志类型 } file{ path => "/var/log/elasticsearch/myes.log" #es日志,根据自己的实际情况,在es的配置文件中自己定义 type => "es-log" start_position => "beginning" codec => multiline{ pattern => "^\[" #以“[”作为切分java的分隔符 negate => true what => "previous" } } } output { if [type] == "apache-accesslog" { redis { host => "192.168.56.12" port => "6379" db => "6" data_type => "list" key => "apache-accesslog" } } if [type] == "es-log"{ redis { host => "192.168.56.12" port => "6379" db => "6" data_type => "list" key => "es-log" } } }
在192.168.56.12上面,从redis中读取日志,并写入elasticsearch;
同时使用logstash收取syslog日志,并写入es;收取syslog,通过网络传输即可,注意要开通514端口。
我们需要修改rsync的配置文件。
[root@linux-node1 /etc/logstash/conf.d]# tail -n 3 /etc/rsyslog.conf # remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional *.* @@192.168.56.12:514 # ### end of the forwarding rule ### [root@linux-node1 /etc/logstash/conf.d]#
查看端口监听情况
[root@linux-node2 conf.d]# netstat -lntp|grep 514 tcp6 0 0 :::514 :::* LISTEN 43148/java [root@linux-node2 conf.d]# netstat -lnup|grep 514 udp6 0 0 :::514 :::* 43148/java [root@linux-node2 conf.d]#
端口监听正常
在192.168.56.12的配置文件如下:
[root@linux-node2 conf.d]# cat indexer.conf input{ redis { type => "apache-accesslog" host => "192.168.56.12" port => "6379" db => "6" data_type => "list" key => "apache-accesslog" } syslog { type => "system-syslog" #收取syslog port => 514 #监听514端口 } redis { type => "es-log" host => "192.168.56.12" port => "6379" db => "6" data_type => "list" key => "es-log" } } filter { if [tyep] == "apache-accesslog"{ grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } } #使用grok处理apache的日志 } output{ if [type] == "apache-accesslog"{ elasticsearch { hosts => ["192.168.56.11:9200"] index => "apache-accesslog-%{+YYYY.MM.dd}" } } if [type] == "es-log"{ elasticsearch { hosts => ["192.168.56.11:9200"] index => "es-log-%{+YYYY.MM}" } } if [type] == "system-syslog"{ elasticsearch { hosts => ["192.168.56.11:9200"] index => "system-syslog-%{+YYYY.MM}" } } } [root@linux-node2 conf.d]#
注意: 注意: 注意:由于收集的日志类型比较多,最好把type跟index的名称统一,这样不容易搞混
注意: 注意: 注意:如果使用redis list作为elk的消息队列,那么需要对所有的list key的长度进行监控。 比如使用llen key_name获取key的值,再用zabbix设置监控 正常情况下,写入redis的日志会很快被logstash消费掉。 如果忽然涨到了十万,那肯定是故障了,可以在zabbix设置阀值,进行报警。
转载于:https://blog.51cto.com/jackyxin/1852187