ELK 日志分析系统 ----------- 部署 logstash 数据处理工具、Kibana 数据分析和可视化平台

Logstash简介

• Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理

Logstash优点

• 可伸缩性
  1）节拍应该在一组Logstash节点之间进行负载平衡。
  2）建议至少使用两个Logstash节点以实现高可用性。
  3）每个Logstash节点只部署一个Beats输入是很常见的，但每个Logstash节点也可以部署多个Beats输入，以便为不同的数据源公开独立的端点。

• 弹性
  Logstash持久队列提供跨节点故障的保护。对于Logstash中的磁盘级弹性，确保磁盘冗余非常重要。对于内部部署，建议您配置RAID。在云或容器化环境中运行时，建议您使用具有反映数据SLA的复制策略的永久磁盘。

• 可过滤
  1）对事件字段执行常规转换。您可以重命名，删除，替换和修改事件中的字段。
  2）可扩展插件生态系统，提供超过200个插件，以及创建和贡献自己的灵活性

Logstash缺点

• Logstash耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患。

Kibana简介

• 一个针对 Elasticsearch 的开源分析及可视化平台
• 搜索、查看存储在 Elasticsearch 索引中的数据
• 通过各种图表进行高级数据分析展示

Kibana主要功能

• Elasticsearch 无缝之集成
• 整合数据，复杂数据分析
• 让更多团队成员收益
• 接口灵活，分享更容易
• 配置简单，可视化多数据源
• 简单数据导出

部署 ELK 日志分析系统

部署 Elasticsearch ，可在此参考

部署规划

一台 CentOS 7.4 版本的 Linux 操作系统的虚拟机，ip ：20.0.0.103
logstash 安装包 ：logstash-5.5.1.rpm
kibana 安装包 ：kibana-5.5.1-x86_64.rpm

• 关闭防火墙、核心防护
• 更改主机名为 ：apache

开始搭建

安装 logstash 数据处理工具

• 登录到主机 20.0.0.103

1、安装apache服务
yum -y install httpd
systemctl start httpd
netstat -anpt | grep httpd

2、安装Java环境
java -version                ####查看当前java版本，如果没有，则要安装 yum -y install java

3、安装logstash
上传 logstash-5.5.1.rpm 到家目录下
rpm -ivh logstash-