浅谈 linux 中部署 ELK 架构

浅谈 linux 中部署 ELK 架构

ELK 简介

ELK（ElasticSearch分布式搜索引擎、Logstash数据收集处理引擎和Kibana可视化化平台）是在大型后端架构中，一个标准的数据采集方案。

在公网IP为x.x.x.x的服务器上部署Elasticsearch+ Logstash+filebeat+redis+Kibana架构。这种架构先通过Logstash收集日志，然后通过Elasticsearch分析日志，最后在Kibana中展示数据。可以在客户端部署filebeat（轻量级数据收集引擎），filebeat消耗比Logstash更少的资源就能够收集到日志。可以通过部署redis来避免数据的丢失，当Logstash出现故障时，日志还是存在于redis中，当Logstash再次启动，就会读取redis中存储的日志。

一、安装 docker

1、卸载旧版 docker

yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

2、安装 gcc 依赖

yum install -y gcc gcc-c++

3、docker仓库安装

#设置仓库，安装所需软件包
yum install -y yum-utils device-mapper-persistent-data lvm2
#选择阿里云源地址
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

4、安装 docker

# 安装最新版本的docker Engine-Community和containerd
yum install docker-ce docker-ce-cli http://containerd.io

# 列出存储库中可用的版本并按版本号从高到低进行排序
命令：yum list docker-ce --showduplicates | sort -r

# 通过其完整的软件包名称安装特定版本，如docker-ce-24.0.0。
命令：yum install docker-ce-24.0.0 docker-ce-cli-24.0.0 http://containerd.io

5、启动 docker

systemctl enable docker 
systemctl start docker 
systemctl restart docker 

6、验证 docker 安装成功与否

docker version
docker  run hello-world
若结果显示“Hello from docker!”，则说明docker安装成功。

二、安装 elasticsearch 安装

1、创建 docker 网络

docker network create -d bridge elastic

2、拉取 elasticsearch

docker pull elasticsearch:8.4.3