ELK日志分析
一、ELK 简介
ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。
-
ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。
Elasticsearch 是用 Java 开发的,可通过 RESTful Web 接口,让用户可以通过浏览器与 Elasticsearch 通信。
Elasticsearch是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大容量的日志数据,也可用于搜索许多不同类型的文档。 -
Kiabana:Kibana 通常与 Elasticsearch 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据,可以用来汇总、分析和搜索重要数据。
-
Logstash:作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置,一般会发送给 Elasticsearch。
Logstash 由 Ruby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具, 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能,常用于日志处理。
#可以添加的其它组件:
- Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 logstash 进行解析,或是直接发给 Elasticsearch 存储,性能上相比运行于 JVM 上的 logstash 优势明显,是对它的替代。常应用于 EFLK 架构当中。
#filebeat 结合 logstash 带来好处:
1、通过 Logstash 具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,从而减轻 Elasticsearch 持续写入数据的压力
2、从其他数据源(例如数据库,S3对象存储或消息传递队列)中提取
3、将数据发送到多个目的地,例如S3,HDFS(Hadoop分布式文件系统)或写入文件
4、使用条件数据流逻辑组成更复杂的处理管道
-
缓存/消息队列(redis、kafka、RabbitMQ等):可以对高并发日志数据进行流量削峰和缓冲,这样的缓冲可以一定程度的保护数据不丢失,还可以对整个架构进行应用解耦。
-
Fluentd:是一个流行的开源数据收集器。由于 logstash 太重量级的缺点,Logstash 性能低、资源消耗比较多等问题,随后就有 Fluentd 的出现。相比较 logstash,Fluentd 更易用、资源消耗更少、性能更高,在数据处理上更高效可靠,受到企业欢迎,成为 logstash 的一种替代方案,常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。
在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd,以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据,然后将数据传递到 Elasticsearch 集群,在该集群中对其进行索引和存储。
二、ELK优缺点
- 优点
提高安全性
集中化管理 - 缺点
对日志分析困难
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析,但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用 grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统,可以提高定位问题的效率。
三、完整日志系统基本特征
收集:能够采集多种来源的日志数据
传输:能够稳定的把日志数据解析过滤并传输到存储系统
存储:存储日志数据
分析:支持 UI 分析
警告:能够提供错误报告,监控机制
四、ELK工作过程
-
在所有需要收集日志的服务器上部署Logstash;或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash。
-
Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。
-
Elasticsearch 对格式化后的数据进行索引和存储。
-
Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。
总结:logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。
五、ELK日志分析系统部署
- 环境配置
主机 | 操作系统 | IP地址 | 安装包 / 软件 / 工具 |
---|---|---|---|
node1 | CentOS7 | 192.168.86.10 | Elasticsearch |
node2 | CentOS7 | 192.168.86.20 | Elasticsearch |
apache | CentOS7 | 192.168.86.30 | httpd / Logstash |
真机 | Windows | 192.168.86.100 | —— |
所有节点关闭防火墙
systemctl stop firewalld.service
setenforce 0
node1(192.168.86.10)
hostnamectl set-hostname node1
su -
node2(192.168.86.20)
hostnamectl set-hostname node2
su -
apache(192.168.86.30)
hostnamectl set-hostname apache
su -
- 配置elasticsearch环境(node1、node2)
echo '192.168.86.10 node1' >> /etc/hosts
echo '192.168.86.20 node2' >> /etc/hosts
cd /opt
rz elasticsearch-5.5.0.rpm
rpm -ivh elasticsearch-5.5.0.rpm
systemctl daemon-reload
systemctl enable elasticsearch.service
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
==17==
cluster.name: my-elk-cluster
==23==
node.name: node1 #这里node2节点设置为node2
==33==
path.data: /data/elk_data
==37==
path.logs: /var/log/elasticsearch/
==43==
bootstrap.memory_lock: false
==55==
network.host: 0.0.0.0
==59==
http.port: 9200
==68==
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl start elasticsearch
netstat -antp |grep 9200
- 此时可以访问查看节点信息
真机检测集群健康、查看集群状态
- 安装elasticsearch-head插件
node1、node2
yum -y install gcc gcc-c++ make
cd /opt
rz node-v8.2.1.tar.gz
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make && make install
cd /usr/local/src
rz phantomjs-2.1.1-linux-x86_64.tar.bz2
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
cd /usr/local/src/
rz elasticsearch-head.tar.gz
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install
vim /etc/elasticsearch/elasticsearch.yml
==末行插入==
http.cors.enabled: true
http.cors.allow-origin: "*"
systemctl restart elasticsearch
cd /usr/local/src/elasticsearch-head/
npm run start &
netstat -lnupt |grep 9100
netstat -lnupt |grep 9200
真机上打开浏览器输入
http://192.168.86.10:9100
http://192.168.86.20:9100
#在Elasticsearch 后面的栏目中输入
http://192.168.86.10:9200
http://192.168.86.20:9200
node1
索引为index-demo,类型为test,可以看到成功创建
curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
真机访问,查看
- 安装logstash
安装logstash并做一些日志搜集输出到elasticsearch中
apache
yum -y install httpd
systemctl start httpd
cd /opt
rz logstash-5.5.1.rpm
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
logstash -e 'input { stdin{} } output { stdout{} }'
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
Logstash API endpoint {:port=>9600}
[root@apache opt]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.86.10:9200"] } }'
Logstash API endpoint {:port=>9600}
www.baidu.com ###输入内容
www.sina.com.cn ###输入内容
www.google.com.cn ###输入内容
Ctrl c
真机访问,查看索引信息
2、apache做对接配置
chmod o+r /var/log/messages
ll /var/log/messages
vim /etc/logstash/conf.d/system.conf
input {
file{
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.86.10:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
真机查看索引信息
- 在node1主机安装kibana
cd /usr/local/src/
rz kibana-5.5.1-x86_64.rpm
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
vim kibana.yml
2/ server.port: 5601 #kibana打开的端口
7/ server.host: "0.0.0.0" #kibana侦听的地址
21/ elasticsearch.url: "http://192.168.184.10:9200" #和elasticsearch建立联系
30/ kibana.index: ".kibana" #在elasticsearch中添加.kibana索引
systemctl start kibana.service
systemctl enable kibana.service
真机访问
192.168.86.10:5601
#首次登录创建一个索引 名字:system-* 这是对接系统日志文件
#然后点最下面的出面的create 按钮创建
#然后点最左上角的Discover按钮 会发现system-*信息
#然后点下面的host旁边的add 会发现右面的图只有 Time 和host 选项了 这个比较友好