ELK日志系统搭建

介绍

       1、 什么是ELK?

                E：elasticsearch，俗称ES

                L：logstash，自动采集日志工具

                K：kibana，可视化的ES界面和数据分析界面

第一步

1、环境的安装

                利用docker快速安装es,logstash和kibana

                建议：es,logstash,kibanna三个的版本最好保持一致，避免出现不必要的麻烦。

2、创建docker网络

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联，这里先创建一个网络。

docker network create es-net

3、安装es

拉取镜像
docker pull elasticsearch:7.12.1

运行容器

docker run -d --name=es  -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node" -v D:\es\es  -v data:/usr/local/elasticsearch7.12.1/data    -v D:\es\es-plugins:/usr/local/elasticsearch7.12.1/plugins  -v D:\es\es-logs:/usr/local/elasticsearch7.12.1/logs  --privileged  --network es-net  -p 9200:9200  -p 9300:9300 elasticsearch:7.12.1
 

4、安装logstash

拉取镜像

docker pull logstash:7.12.1

运行容器

docker run -d -p 5040:5040 -p 9600:9600 --name logstash -v D:\paiplus\manage\storage\logs:/data/logs --network=es-net logstash:7.12.1

5、安装kibana

拉取镜像

docker pull kibana:7.12.1

运行容器 

docker run -d --name kibana -e ELASTICSEARCH_HOSTS=http://es:9200 --network=es-net -p 5601:5601 kibana:7.12.1

命令解释:

• --network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
• -e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
• -p 5601:5601：端口映射配置。

第二步

1. 容器都启动正常时，打开kibanna的web连接http://127.0.0.1:5601/即可进入kibana可视化操作界面。

第三步

1、logstash 数据采集

        进入logstash 容器

vi /usr/share/logstash/pipeline/logstash.conf

        配置需要采集的文件路径

  input {
        file {
                path => "/data/logs/*.log"// 需要采集的文件路径
                type => "laravel-log"// 文件类型，可以随便定义
                start_position => "beginning"
                stat_interval => "3"
        }
 file {
                path => "/data/logs/nginx/*.log"
                type => "nginx-log"
                start_position => "beginning"
                stat_interval => "3"
        }
}
output {
        if[type] == "laravel-log"{ // 判断文件类型等于laravel日志就写到es的laravel_log-xxx索引里
                        elasticsearch {
                                 hosts => "192.168.2.3:9200"
                                        index => "laravel_log-%{+YYYY.MM.dd}"
                 }
        }
                if[type] == "nginx-log"{// 判断文件类型如果等于nginx文件日志，则写入nginx_log-xxx索引里
                        elasticsearch {
                                 hosts => "192.168.2.3:9200"
                                        index => "nginx_log-%{+YYYY.MM.dd}"
                 }
        }
}

2、配置好之后重启一下logstash即可，然后可以在laravel路径的日志添加内容，或者nginx日记路径里添加内容，则可自动同步到es,可以在kibana里查看 。

3、创建索引模式，输入刚刚采集的索引名称，比如laravel_log-*

 4、打开左边菜单栏，点击发现，即可看到刚刚创建的索引模式。

后面如果生成laravel日志获取nginx日志，都会自动同步到es,并且可以在kibana上看到索引的数据，并且支持分析，查询等操作。