ES09# Filebeat配置项及吞吐调优项梳理

引言

公司有使用filebeat作为日志采集的agent，然而最近发现其在一些node采集吞吐不足，现就其配置项与吞吐调优进行梳理。本文的主要内容有：

• Input输入配置项

• 通用以及全局配置项

• Output输出配置

一、Input输入配置项

Filebeat支持众多的Inputs，以日志文本类为例梳理其配置项，主要配置项如下：

配置项	说明
type	取值log或者filestream，7.16.0以后log声明为废弃
enabled	是否开启，默认关闭
paths	抓取的日志文件配置，例如：- /var/log/*.log
encoding	读取使用的编码，默认为plain，可选utf-8、gbk等
exclude_lines	读取文件时丢掉哪些行，默认没有丢弃。例如：['^DBG'] 排除以DBG开头的行
include_lines	指定需要读取的行，默认所有行均会读取。例如：['^ERR', '^WARN']读取以ERR和WARN开头的行
exclude_files	排除哪些文件不采集，例如：['.gz$']排除.gz结尾的文件
file_identity.native	判断两个文件是否相同，默认使用inode和device id
fields	在输出的每条日志增加额外的信息，默认会在fields新建子目录
fields_under_root	表示新增的字段fields为顶级目录
keep_null	是否在事件中发布具有null的字段，默认false
publisher_pipeline.disable_host