ELK日志分析系统搭建

---

一、ELK 是什么？

ELK 是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。

Elasticsearch

简称 ES，是一个分布式、可扩展、实时的搜索与数据分析引擎，可用于全文搜索，结构化搜索以及分析。

Logstash

是免费且开放的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等 “存储库” 中。支持的数据源包括本地文件、Elasticsearch 、MySQL、Kafka 等。

Kibana

是一个免费且开放的用户界面，可以用来搜索、查看存储在 Elasticsearch 索引中的数据并与之交互。可以很容易实现高级的数据分析和可视化，以图表的形式展现出来。

二、搭建 ELK

1.安装 Elasticsearch

见 CentOS7和8下安装Elasticsearch。

2.安装 Logstash

见 CentOS7和8下安装logstash。

3.安装 Kibana

见 CentOS7和8下安装Kibana。

三、配置实例

1.将某个服务器某个目录下的日志收集到系统分析展示

以下展示将 /home/source/api/logs 目录下的日志 *.out 收集到系统的步骤。

（1）修改 logstash-sample.conf 配置

vi config/logstash-sample.conf

输入内容如下：

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  file{
    path => ['/home/source/api/logs/*.out']
    type => 'user_log'
    start_position => "beginning"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "user-%{+YYYY.MM.dd}"
  }
}

重启 logstash。

（2）配置 Kibana

浏览器输入 192.168.1.38:5601，打开 Kibana Web页面，点击菜单 “Management” -> “Stack Management”：

点击 “Data” -> “Index Management”，查看到索引 user-2022.03.10：

进入菜单 “Kibana” -> “Index Patterns”，点击【Create Index pattern】创建索引模板：

输入名字，点击【Create Index pattern】创建：

点击菜单 Discover，即可对日志进行分析查询：