文章目录
- 一、 ELK日志分析系统简介
- 二、 使用ELK的原因
- 三、 完整日志系统基本特征
- 四、 ELK的工作原理
- 五、ELK日志分析系统集群部署
- 5.1 ELK Elasticsearch 集群部署具体实验步骤
- 5.2 ELK Logstash 部署的具体操作步骤
- 5.3 ELK Kiabana 部署的具体操作步骤
- 5.4 Filebeat+ELK 部署
- 六、总结
一、 ELK日志分析系统简介
ELK平台是一套完整的日志集中处理解决方案,将ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。
ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。
Elasticsearch 是用 Java 开发的,可通过 RESTful Web 接口,让用户可以通过浏览器与 Elasticsearch 通信。
Elasticsearch 是个分布式搜索和分析引擎,优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。
Logstash:作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置,一般会发送给 Elasticsearch。
Logstash 由JRuby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具, 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能,常用于日志处理。
Kiabana:是基于 Node.js 开发的展示工具,可以为 Logstash 和 ElasticSearch 提供图形化的日志分析 Web 界面展示,可以汇总、分析和搜索重要数据日志。
Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 logstash 进行解析,或是直接发给 Elasticsearch 存储,性能上相比运行于 JVM 上的 logstash 优势明显,是对它的替代。
二、 使用ELK的原因
日志主要包括系统日志、应用程序日志和安全日志。 系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷, 性能安全性, 从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析,但是当日志被分散的储存不同的设备上。 如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。 当务之急我们使用集中化的日志管理, 例如∶ 开源的syslog,将所有服务器上的日志收集汇总。集中化管理日志后, 日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时, 大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统, 可以提高定位问题的效率。
三、 完整日志系统基本特征
收集∶能够采集多种来源的日志数据
传输∶能够稳定的把日志数据解析过滤并传输到存储系统
存储∶存储日志数据
分析∶支持 UI分析
警告∶能够提供错误报告,监控机制
四、 ELK的工作原理
(1)在所有需要收集日志的服务器上部署Logstash; 或者先将日志进行集中化管理在日志服务器上, 在日志服务器上部署 Logs tash。
(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。
(3)Elasticsearch 对格式化后的数据进行索引和存储。
(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。
五、ELK日志分析系统集群部署
环境准备工作:
服务器类型 系统和IP地址 需要安装的组件 硬件方面
Node1节点 CentOS7.4(64 位) 192.168.80.10 Elasticsearch 、 Kibana 2核4G
Node1节点 CentOS7.4(64 位) 192.168.80.20 Elasticsearch 2核4G
Apache节点 CentOS7.4(64 位) 192.168.80.30 Logstash Apache 2核4G
所有服务器关闭防火墙和SElinux
systemctl stop firewalld
setenforce 0
5.1 ELK Elasticsearch 集群部署具体实验步骤
(在Node1、Node2节点上操作,由于步骤相同,我这边仅展示node1的步骤!)
1.环境准备
① 配置域名解析
② 修改主机名
③ 查看java版本
2.部署 Elasticsearch 软件
① 安装elasticsearch—rpm包
② 加载系统服务
③ 修改elasticsearch主配置文件
④ 创建数据存放路径并授权
⑤ 启动elasticsearch是否成功开启
⑥ 查看node1和node2节点信息
⑦ 检查群集状态信息
3.安装 Elasticsearch-head 插件
① 放入安装包并解压
② 编译安装node
③ 安装 phantomjs
④ 安装 Elasticsearch-head 数据可视化工具
⑤ 修改 Elasticsearch 主配置文件vim /etc/elasticsearch/elasticsearch.yml
⑥ 启动 elasticsearch-head 服务
⑦ 通过 Elasticsearch-head 查看 Elasticsearch 信息
⑧ 插入索引
⑨ 访问测试
5.2 ELK Logstash 部署的具体操作步骤
(在 Apache 节点上操作)
1.更改主机名
2.安装Apahce服务(httpd)
3.安装Java环境
4.安装logstash
5.测试 Logstash
① 定义输入和输出流:输入采用标准输入,输出采用标准输出(类似管道)
② 定义输入和输出流:使用 rubydebug 输出详细格式显示,codec 为一种编解码器
③ 定义输入和输出流:使用 Logstash 将信息写入 Elasticsearch 中
④ 浏览器访问 http://192.168.80.10:9100/ 查看索引信息和数据浏览
6.定义 logstash配置文件
①修改配置
② 重启服务
7.浏览器访问查看索引信息
① 查看索引是否创建
② 查看索引对应的日志文件
5.3 ELK Kiabana 部署的具体操作步骤
(在 Node1 节点上操作)
1.安装 Kiabana
2.设置 Kibana 的主配置文件vim /etc/kibana/kibana.yml
3.启动 Kibana 服务
4.验证 Kibana
① 添加system索引
② 单击 “Discover” 按钮可查看图表信息及日志信息
5.将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
① 创建apache_log.conf文件
② 启动添加到 Elasticsearch
6.浏览器访问http://192.168.80.30:5601 登录 Kibana测试
① 使用宿主机进行访问,为了产生访问日志
② 创建apache_access索引日志
③ 创建apache_error索引日志
④ 选择“Discover”选项卡,在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引, 可以查看相应的图表及日志信息。
5.4 Filebeat+ELK 部署
1.安装 Filebeat //在 Node1 节点上操作
2.设置 Kibana 的主配置文件 //在 Node1 节点上操作
① 修改配置参数
② 注释Elasticsearch output并指定 logstash 的 IP 和端口
③ 启动 filebeat
3.在 Logstash 组件所在节点上新建一个 Logstash 配置文件(192.168.80.30)
使用logstash -f logstash.conf命令进行启动。
4.在 Node1 节点上操作,启动 filebeat
5.浏览器访问 http://192.168.80.30:5601 登录 Kibana测试,
① 单击“Create Index Pattern”按钮添加索引“filebeat-*”,单击 “create” 按钮创建,
② 单击 “Discover” 按钮可查看图表信息及日志信息。
六、总结
1)ELK三大组件及其工作流程
组件:ElasticSearch(简称:ES)、Logstash和Kiabana
流程:
Logstash负责数据的收集,对数据进行过滤、分析等操作,然后存储到指定的位置,发送给ES;
ES是分布式存储检索引擎,用来存储各类日志,可以让用户可以通过浏览器与 ES通信;
Kiabana为 Logstash 和 ES 提供图形化的日志分析 Web 界面展示,可以汇总、分析和搜索重要数据日志。
2)生产中一般用什么来代替logstash?为什么?
一般使用Filebeat代替logstash
因为logstash是由Java开发的,需要运行在JVM上,耗资源较大,运行占用CPU和内存高。另外没有消息队列缓存,存在数据丢失隐患;而filebeat是一款轻量级的开源日志文件数据搜集器,能快速收集数据,并发送给 logstash 进行解析,性能上相比运行于 JVM 上的 logstash 优势明显。
3)ELK集群配置的步骤是什么
1)一般至少需要三台主机
2)设置各主机的主机名和IP的映射,修改ES主配置文件
3)通过修改discovery.zen.ping项,通过单播实现集群,指定要发现的节点。