elfk 搭建系列(五) -- filebeat 的安装
2.1.6 Filebeat 安装
a. 安装
在想要监控日志的机器上安装 filebeat,使用的源与 elk 集群中的源一致。使用如下命令。
yum -y install filebeat
b. 配置文件的修改
filebeat.inputs:
- type: log # 定义类型
enable: true
# 合并日志(匹配年份“-2019” 或 “2019”)
multiline.pattern: "^-{0,1}[0-9]{4}-*" # 定义合并日志 message 的规则,比如将 java 报错栈合并在一起
multiline.negate: true
multiline.match: after
paths:
- /var/log/message1
fields:
tag: log1 # 添加不同的标签,用作解析时的不同的判断方式
- type: log
enable: true
paths:
- /var/log/message2
fields:
tag: log2
reload.enabled: true
output: # 输出
logstash: # 输出到 logstash
hosts: ["elk1.test.xyz", "elk2.test.xyz", "elk3.test.xyz"] # logstash 的主机地址
c. 启动 filebeat
systemctl start filebeat
systemctl enable filebeat
启动完成后,稍等会就可以使用完整的 elfk 的完整功能了。当然了,每个公司对于 elk 的需求是不同的,本系列只做参考。
需要注意的是, 在 elfk 的集群中,最消耗系统资源的是 elasticsearch ,在日常的使用中,最容易出现问题的也是 elasticsearch ,大部分的原因都是因为内存不够,有时候不仅仅是只考虑增加机器的内存。需要从引起问题的原因本质出发,比如说设置索引的生命周期,将不常用的索引设置为 warm 或者 cold,或者将缓存减少。出现问题时,注意多分析日志,日志可以解决你几乎所有的问题。
还有一点,如果 kibana 页面也出现问题,也很有大部分的原因是 elasticsearch 集群出现问题,然后就去看 elasticsearch 的日志吧。。。
然后就是在实践中不断地做出调整了。