ELKB 7.X 日志系统搭建

目录

ELKB是什么

搭建ELKB系统

搭建过程中需要注意的问题

---

ELKB是什么

ELKB是目前比较流行的日志系统解决方案，是通过一套组件集合成的解决方案。这套组件分别为ElasticSearch，LogStash，Kibana，FileBeat。

各组件的作用如下：

ElasticSearch（简称es）：基于Apache Lucene构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。

LogStatsh：数据收集额外处理和数据引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置。

Kibanna：数据分析和可视化平台。通常与ElasticSearch配合使用，对其中数据进行搜索、分析和以统计图表的方式展示。

FileBeat：在需要采集日志数据的server上安装Filebeat，指定日志目录或日志文件后，Filebeat就能读取数据，发送到Logstash进行解析，也可以选择直接发送到ElasticSearch进行集中式存储和分析。 其中FileBeat只是Beat系列中常用的一种，其余的beat还有Packetbeat（搜集网络流量数据）；Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）；Filebeat（搜集文件数据）；Winlogbeat（搜集 Windows 事件日志数据）

ELKB基础版架构

 

各模块架构优化

• 对ElasticSearch做集群化
• 将上述各个模块部署在不同的服务器上，LogStash选择计算能力强的，CPU和内存比较丰满的；ElasticSearch选择磁盘容量大的，同时CPU和内存比较丰满。

搭建ELKB系统

es依赖于JDK,同时已经内置JDK，但是如果本地配置了JAVA_HOME，则会使用配置的JDK，此时需要考虑到版本依赖，对应的版本依赖可以在https://www.elastic.co/cn/support/matrix#matrix_jvm进行查看；

目前ELKB已经实现版本同步化，所以在进行搭建时，选好一个版本，所有的组件都使用此版本即可。

在这里，选择7.6.2的版本进行搭建，对应的jdk版本是11，所以需要首先安装jdk11，jdk11的安装步骤这里不做演示。同时，由于只是测试环境，所有不再进行模块优化，只在一台机器上，选择基础架构进行搭建。

1：下载组件

官方下载网站是https://elasticsearch.cn/download，但是由于某些神奇的力量，直接上官网下载是很慢的，所以可以找一些镜像网站进行下载。

华为镜像网站直通车（推荐加入你们的收藏夹）

在服务器上下载对应的组件：

# 切换至下载目录
cd /tmp

# 下载es
wget https://mirrors.huaweicloud.com/elasticsearch/7.6.2/elasticsearch-7.6.2-linux-x86_64.tar.gz

# 下载logstash
wget https://mirrors.huaweicloud.com/logstash/7.6.2/logstash-7.6.2.tar.gz

# 下载kibana
wget https://mirrors.hua