FileBeats配置应用详解

一、FileBeats特点

1.读取日志文件，但不做数据的解析处理

2.保证数据“At Least Once” 至少被读取一次，即数据不会丢失，某些情况下会重复消费

3.其他能力：处理多行数据，解析Json数据，简单的过滤功能

二、配置文件大致结构

6版本之前的OutPut可以有多个，之后的处于性能考虑只能有一个

三、常见输入类型配置介绍

1.标准输入

语法格式：

filebeat.inputs:
　　- type: stdin
     ...

常用可接的配置选项：

encoding  指定编码方式

exclude_lines 忽略正则规则匹配到的行，exclude_lines: ['^DBG']表示 忽略 DBG  开始的行，无默认值，但是空行会被忽略

include_lines 与上述规则相反，当和上述选项一起出现时，该选项优先级高，无关配置文件中的顺序

max_bytese 处于单条数据的最大字节数，超过的将被丢弃，默认10MB

2.log输入

语法格式

filebeat.inpu