ELK日志分析系统

ELK日志分析系统

一、ELK日志分析系统

• ELK有三部分组成

  E：Elasticsearch

  L：Logstash

  K：Kibana

1、日志服务器

• 优点

  提高安全性

  集中化管理

• 缺点

  对日志分析困难

2、日志处理步骤

1、将日志进行集中化管理

2、将日志格式化（Logstash）并输出到Elasticsearch

3、对格式化后的数据进行索引和存储（Elasticsearch）

4、前端数据的展示（Kibana）

---

二、Elasticsearch概述

• 提供了一个分布式多用户能力的全文搜索引擎

1、Elasticsearch特性

• 接近实时
• 集群
• 节点
• 索引
  索引（库）→类型（表）→文档（记录）
• 分片和副本

实际情况下，索引存储的数据可能超过单个节点的硬件限制，如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了，为了解决这个问题，elasticsearch提供将索引分成多个分片的功能，当在创建索引时，可以定义想要分片的数量。每个分片就是一个全功能的独立索引，可以位于集群中任何节点上。

分片：

1、水平分割扩展，增大存储量

2、分布式并行跨分片操作，提供性能和吞吐量

分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的

网络问题等等其他问题可以在任何时候不期而至，为了健壮性，强烈建议要有个故障切换机制，无论何种故障以防止分片或者节点不可用，为此，elasticsearch让我们将索引分片复制一份或多份，称为分片副本或副本

副本：

1、高可用性，以应对分片或者节点故障，出于这个原因，分片副本要在不同的节点上

2、性能加强，增加吞吐量，搜索可以并行在所有副本上执行

---

三、LogStash概述

• 一款强大的数据处理工具
• 可实现数据传输、格式处理、格式化输出
• 数据输入、数据加工（如过滤，改写等）以及数据输出

由三个组件组成：Input、Output、Filter Plugin

• Input：获取日志
• Output：输出日志
• Filter Plugin：过滤日志、格式处理

1、LogStash主要组件

• Shipper
• Indexer
• Broker
• Search and Storage
• Web Interface

---

四、Kibana概述

• 一个针对Elasticsearch的开源分析及可视化平台
• 搜索、查看存储在Elasticsearch索引中的数据
• 通过各种图表进行高级数据分析及展示

1、Kibana主要功能

• Elasticsearch无缝之集成
• 整合数据，复杂数据分析
• 让更多团队成员收益
• 接口灵活，分享更容易
• 配置简单、可视化多数据源
• 简单数据导出

---

五、部署ELK日志分析系统

1、实验需求

1、配置ELK日志分析集群

2、使用Logstash收集日志

3、使用Kibana查看分析日志

2、环境配置

主机	操作系统	IP地址	安装包 / 软件 / 工具
node1	CentOS7	192.168.254.10	Elasticsearch
node2	CentOS7	192.168.254.20	Elasticsearch
apache	CentOS7	192.168.254.30	httpd / Logstash
真机	Windows	169.254.10.17	——

所有节点，关闭系统防火墙和安全机制

systemctl stop firewalld.service
setenforce 0

设置主机名

node1（192.168.254.10）

hostnamectl set-hostname node1
su -

node2（192.168.254.20）

hostnamectl set-hostname node2
su -

apache（192.168.254.30）

hostnamectl set-hostname apache
su -

3、配置elasticsearch环境（node1、node2）

node1（192.168.254.10）

node2（192.168.254.20）

仅一处主机名不同

echo '192.168.254.10 node1' >> /etc/hosts
echo '192.168.254.20 node2' >> /etc/hosts

	
cd /opt
rz elasticsearch-5.5.0.rpm

rpm -ivh elasticsearch-5.5.0.rpm

systemctl daemon-reload
systemctl enable elasticsearch.service
#重载后台进程并开启elasticsearch服务开机自启

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml


17 cluster.name: my-elk-cluster