Docker 部署 Filebeat + ElasticSearch + Kibana

前言

版本提示：Linux 系统 centos-7-x86_64-dvd-2009.iso
Filebeat + ElasticSearch + Kibana 8.1.2

本文采用 Filebeat + ElasticSearch + Kibana 部署日志管理系统，用 Filebeat 收集日志到 Elasticsearch 存储起来并建立相关索引，再利用 Kibana 提供可视化界面。

一、安装配置 Docker

1、安装 Docker

// 确保yum包更新到最新
yum update
// 安装需要的软件包
yum install -y yum-utils device-mapper-persistent-data lvm2
// 设置yum源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
// 安装docker
yum install -y docker-ce

2、查看 Docker 是否安装成功

docker -v

3、启动 Docker 并设置开机自启

systemctl start docker.service
systemctl enable docker.service

4、配置 Docker 镜像加速器

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://pxeghqer.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

5、安装 Docker Compose

// 下载（使用国内地址）
curl -L https://get.daocloud.io/docker/compose/releases/download/1.29.2/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
// 授权
chmod +x /usr/local/bin/docker-compose
// 测试
docker-compose --version

二、安装配置 ElasticSearch + Kibana

1. 拉取 GitHub 开源项目 docker-elk

2. 注释 logstash 相关配置，修改 IP 地址，修改用户密码

三、安装配置 Filebeat

1. 安装 Filebeat

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.1.2-x86_64.rpm
sudo rpm -vi filebeat-8.1.2-x86_64.rpm

2. 修改 /etc/filebeat/filebeat.yml

output.elasticsearch:
  hosts: ["<es_url>"]
  username: "elastic"
  password: "<password>"
setup.kibana:
  host: "<kibana_url>"

3. 启用和配置 elasticsearch 模块

sudo filebeat modules enable elasticsearch

4. 修改/etc/filebeat/modules.d/elasticsearch.yml 参考文档

  server:
    enabled: true
    var.paths:
        - /usr/local/test.log

5. 启动 Filebeat 并设置开机自启

systemctl start filebeat.service
systemctl enable filebeat.service