Filebeat轻量型日志采集器
当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时,请告别 SSH 吧。Filebeat 将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。
Filebeat 内置有多种模块(Apache、Cisco ASA、Microsoft Azure、NGINX、MySQL 等等),可针对常见格式的日志大大简化收集、解析和可视化过程,只需一条命令即可。之所以能实现这一点,是因为它将自动默认路径(因操作系统而异)与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此,数个 Filebeat 模块还包括预配置的 Machine Learning 任务。
下面组件都可以用FileBeat来采集
官网:https://www.elastic.co/cn/products/beats
Beats系列产品:
架构
用于监控、收集服务器日志文件输入到其他组件
部署与运行
1.下载地址:https://www.elastic.co/cn/downloads/beats/filebeat
2.上传下载安装文件到 /usr/local
3. 解压:tar -xvf filebeat-7.6.1-linux-x86_64.tar.gz
cd filebeat-7.6.1-linux-x86_64 配置yml文件
filebeat.yml配置详解
#=========================== Filebeat prospectors =============================
filebeat.prospectors:
- type: log #指定文件的输入类型log(默认)或者stdin。
enabled: true # 允许采集器配置内容
paths: # paths指定要监控的日志
- /var/log/*.log
#- c:\programdata\elasticsearch\logs\*
#exclude_lines: ["^DBG"] # 在输入中排除符合正则表达式列表的那些行
#include_lines: ["^ERR", "^WARN"] # 包含输入中符合正则表达式列表的那些行默认包含所有行include_lines执行完毕之后会执行exclude_lines。
#exclude_files: [".gz$"] # 忽略掉符合正则表达式列表的文件默认为每一个符合paths定义的文件都创建一个harvester。
# 向输出的每一条日志