【Linux】linux | ELK | filebeat | es | elasticsearch | kibana | 安装ELK | 日志收集系统

本文链接：https://blog.csdn.net/myloverisxin/article/details/127075387

一、说明

1、项目太多，日志存在本地，难受

2、用用新的工具

3、系统CentOS7

4、版本非最新

5、依赖docker，需提前安装

6、按照1/2/3步骤安装即可；filebeat需要有个输出，步骤输出到了es

二、安装过程

1、安装es

1）下载镜像
docker pull elasticsearch:7.6.2
2）创建必要目录
mkdir -p /opt/elasticsearch/config
mkdir -p /opt/elasticsearch/data
mkdir -p /opt/elasticsearch/plugins
3）设置虚拟缓存
sudo sysctl -w vm.max_map_count=262144
4）启动镜像
docker run -d --name hg-es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.6.2
说明1：需要保证端口未占用

5）复制镜像文件到物理机
docker cp hg-es:/usr/share/elasticsearch/config /opt/elasticsearch/
6）授权
chmod -R 777 /opt/elasticsearch/
7）停止并删除容器
docker stop hg-es
docker rm hg-es
说明1：运行中的容器，不允许删除

说明2：删除是为了重新启动

8）重新启动
docker run --name hg-es -v /opt/elasticsearch/config/:/usr/share/elasticsearch/config -v /opt/elasticsearch/data/:/usr/share/elasticsearch/data -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" --privileged=true -d elasticsearch:7.6.2
说明1：重启目的，为了映射目录

9）辅助命令

a> 查看容器ID
docker ps -a | grep hg-es
b> 查看是否启动成功
netstat -anp | grep 9200
c> 查询容器日志
docker logs -f 79d7c0e2c997
说明1： 79d7c0e2c997，是容器的ID，通过docker ps获得

~~

2、安装kibana

1）拉取镜像
docker pull kibana:7.6.2
2）启动镜像
docker run --name hg-kibana -e ELASTICSEARCH_HOSTS=http://192.168.100.131:9200 -p 5601:5601 -d kibana:7.6.2
说明1：需要修改IP，即192.168.100.131:9200，是es的ip以及端口

说明2：确保端口没有被占用

3）查询容器ID
docker ps | grep hg-kibana
4）进入容器内
docker exec -it e7dd9cba980c /bin/sh
说明1： e7dd9cba980c，即容器ID，需要修改

5）打开配置文件
vi /usr/share/kibana/config/kibana.yml 
6）修改es的地址
elasticsearch.hosts: [ "http://192.168.100.131:9200" ]
7）最后一行新增
i18n.locale: "zh-CN"
说明1：配置中文

8）退出容器
exit
9）重启容器
docker pull elastic/filebeat:7.5.1
docker restart e7dd9cba980c
说明1： e7dd9cba980c，即容器ID

10）辅助命令
a> 查看是否启动成功
netstat -anp | grep 5601
c> 查询容器日志
docker logs -f 79d7c0e2c997
说明1： 79d7c0e2c997，是容器的ID，通过docker ps获得

~~

3、安装filebeat

1）下载镜像

docker pull elastic/filebeat:7.5.1

2）启动

docker run -d --name=filebeat elastic/filebeat:7.5.1

3）创建目录

/opt/elk7

4）数据拷贝（容器->物理）

docker cp filebeat:/usr/share/filebeat /opt/elk7/

5）授权

chmod 777 -R /opt/elk7/filebeat
chmod go-w /opt/elk7/filebeat/filebeat.yml

6）编辑配置文件

vi /opt/elk7/filebeat/filebeat.yml

7）补充内容

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log


filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

processors:
- add_cloud_metadata: ~
- add_docker_metadata: ~

output.elasticsearch:
  hosts: '192.168.100.131:9200'
  # username: 'elastic'
  # password: 'elastic'
  indices:
    - index: "filebeat-%{+yyyy.MM.dd}"

说明1：修改paths，即监听的文件路径以及格式

说明2：修改output，即监听的文件输出到es

8）删除容器

docker rm -f filebeat

9）重新启动

docker run -d \
  --name=filebeat \
  --restart=always \
  -v /data/elk7/filebeat:/usr/share/filebeat \
  -v /var/log/messages:/var/log/messages \
  elastic/filebeat:7.5.1

10）查看监听日志