Filebeat和logstash 使用过程中遇到的一些小问题记录

Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475

一、filebeat 收集软链文件日志

1.1、场景

1. 由于我们新部署的Nginx 日志都是采用的软链的形式。

lrwxrwxrwx 1 root  root      72 Apr  6 00:00 jy.baidu.com-80-access.log -> /usr/local/openresty/nginx/logs/jy.usmartsg.com-80-access.log.2022040600
-rw-r--r-- 1 nginx root 4502502 Apr 3 23:59 jy.baidu.com-80-access.log.2022040300
-rw-r--r-- 1 nginx root 5790629 Apr 5 00:00 jy.baidu.com-80-access.log.2022040400
-rw-r--r-- 1 nginx root 9166562 Apr 5 23:59 jy.baidu.com-80-access.log.2022040500
-rw-r--r-- 1 nginx root 2447936 Apr 6 09:31 jy.baidu.com-80-access.log.2022040600

2. 我们收集日志的时候，通过配置filebeat 收集日志文件 jy.baidu.com-80-access.log, 因为这个文件会一直软链到最新的日志文件。
3. 但是我们会发现在启动filebeat 后 filebeat 并没有报错什么。 但是我们logstash 好像也没有往es 写日志。

1.2、问题排查

1. 我们首先是通过开启filebeat 的 debug模式，就是看下 filebeat 的详细日志，这一步理论上来说，我们应该先通过kafka 看下是否有日志写入kafka。