ELK平台搭建+filebeat收集nginx日志_配置filebeat实现nginx日志收集以及grok过滤

elasticsearch成功之后不妨再安装elasticsearch-head（因为不搞集群可忽略，推荐参考）

二、安装logstash

解压安装包，并将目录移至安装目录

[root@localhost opt]# tar zxf logstash-5.4.1.tar.gz 
[root@localhost opt]# ls
elasticsearch-5.4.1.tar.gz  kibana-5.4.1-linux-x86_64.tar.gz  logstash-5.4.1  logstash-5.4.1.tar.gz

[root@localhost opt]# cp -r logstash-5.4.1 /usr/local/logstash

在/usr/local/logstash 目录下创建一个nginx_logs.conf文件（配置参考本帖：Logstash收集nginx日志并grok进行文本过滤）：

# 监听5044端口作为输入
input {
    beats {
        port => "5044"
    }
}
# 数据过滤
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
    geoip {
        source => "clientip"
    }
}
# 输出配置为本机的9200端口，这是ElasticSerach服务的监听端口
output {
    elasticsearch {
        hosts => ["192.168.10.129:9200"]
    }
}

启动logstash

[root@localhost logstash]# nohup bin/logstash -f nginx_logs.conf &

三、安装kibana

同样解压安装包，并将目录移至安装目录

进入安装目录/usr/local/kibana/修改config下的kibana.yml

修改内容为

执行启动命令：nohup bin/kibana &

查看启动日志：tail -f nohup.out

启动成功浏览器访问http://192.168.10.129:5601/

四、安装nginx服务

在web服务器上安装nginx

我这里直接用下载的rpm包安装

[root@centos6 opt]# rpm -ivh nginx-1.12.2-1.el6.ngx.x86_64.rpm

启动nginx服务

[root@centos6 nginx]# service nginx start
正在启动 nginx：                                           [确定]

浏览器访问http://192.168.10.130/

查看nginx日志输出

[root@centos6 nginx]# tail -f /var/log/nginx/access.log

五、安装filebeat

在web服务器上安装filebeat用于收集日志，和传输日志数据

[root@centos6 opt]# tar zxf filebeat-5.4.1-linux-x86_64.tar.gz 
[root@centos6 opt]# ls
filebeat-5.4.1-linux-x86_64  filebeat-5.4.1-linux-x86_64.tar.gz  nginx-1.12.2-1.el6.ngx.x86_64.rpm
[root@centos6 opt]# mv filebeat-5.4.1-linux-x86_64 /usr/local/filebeat

修改配置文件内容/usr/local/filebeat/filebeat.yml

修改字段

改为（路径即为nginx日志所在的文件路径）：

修改字段

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

ssolve/70)

[外链图片转存中…(img-p6ppiqnT-1726066084734)]
[外链图片转存中…(img-zUzfPnfq-1726066084734)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。