Beats: 轻量级日志采集器
filebeat: 日志文件(主要)
metricbeat: 指标(主要)
packetbeat:网络数据,流量指标
winlogbeat:Win事件日志
auditbeat:审计日志
heartbeat:运行时间监控
Filebeat:
由两个重要组件组成:prospector (勘探者) 和 harvester(收割机)
harvester :
1 负责读取单个文件内容
2 如果文件在读取时被删除或者重命名,filebeat将继续读取数据
prospector
1 负责管理harvester并找到所有要读取的数据来源
2 如果输入类型为日志,则查找器将查找路径匹配的所有文件,并为每个文件启动一个harvester.
3 filebeat目前支持两种prospector类型:log 和 stdin
Filebeat如果保持每个文件的状态:
1 filebeat保持每个文件的状态并经常将状态刷新到磁盘上的注册文件中
2 该状态用于记录harvester正在读取的最后偏移量,并确保发送所有日志行
3 如果输出无法访问,filetbeat会跟踪最后发送的行,并在输出再次可用时继续读取文件
4 在filebeat运行时,每个prospector也会在内存中保存文件状态信息。重新启动filebeat时,讲使用注册文件的数据来重建文件状态。filebeat将从每个harvest保存的最后偏移量读取。
5 文件记录在data/registry文件中
Metricbeat: 轻量型指标采集器
1 定期收集操作系统或应用服务的指标数据
2 存储到es中进行实时分析
由两部分组成:Module , Metricset
Module : 收集的对象,如:mysql,redis,nginx等
Metricset : 收集指标的集合,如cpu,memory,network等
启动
./metricbeat -e