Filebeat工作原理

Filebeat由两个主要组件组成：prospector 和 harvester。
harvester：

• 负责读取单个文件的内容。
• 如果文件在读取时被删除或重命名，Filebeat将继续读取文件。

prospector

• prospector 负责管理harvester并找到所有要读取的文件来源。
• 如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester。
• Filebeat目前支持两种prospector类型：log和stdin。

Filebeat如何保持文件的状态

• Filebeat 保存每个文件的状态并经常将状态刷新到磁盘上的注册文件中。
• 该状态用于记住harvester正在读取的最后偏移量，并确保发送所有日志行。
• 如果输出（例如Elasticsearch或Logstash）无法访问，Filebeat会跟踪最后发送的行，并在输出再次可用时继续读取文件。
• 在Filebeat运行时，每个prospector内存中也会保存的文件状态信息，当重新启动Filebeat时，将使用注册文件的数据来重建文件状态，Filebeat将每个harvester在从保存的最后偏移量继续读取。
• 文件状态记录在data/registry文件中。

启动命令：

./filebeat -e -c XXXX.yml 
./filebeat -e -c XXXX.yml -d "publish" 
#参数说明 
-e: 输出到标准输出，默认输出到syslog和logs下 
-c: 指定配置文件 
-d: 输出debug信息