elfk 搭建系列(五) -- filebeat 的安装

本文介绍了如何在ELFK堆栈中安装和配置Filebeat。首先,要在目标机器上安装Filebeat,确保源与ELK集群匹配。接着,详细讲解了配置文件的修改步骤。完成安装和配置后,启动Filebeat,等待片刻即可使用完整的ELFK功能。文章提示,Elasticsearch在ELFK中消耗资源最多,可能出现内存不足的问题,建议通过优化索引生命周期和调整缓存来解决问题。当遇到问题时,日志分析是关键。若Kibana页面出错,很可能是Elasticsearch集群故障,应检查其日志。
摘要由CSDN通过智能技术生成

elfk 搭建系列(五) -- filebeat 的安装

2.1.6 Filebeat 安装

a. 安装

在想要监控日志的机器上安装 filebeat,使用的源与 elk 集群中的源一致。使用如下命令。

yum -y install filebeat

b. 配置文件的修改

filebeat.inputs:
- type: log # 定义类型
  enable: true
  # 合并日志(匹配年份“-2019” 或 “2019”)
  multiline.pattern: "^-{0,1}[0-9]{4}-*" # 定义合并日志 message 的规则,比如将 java 报错栈合并在一起
  multiline.negate: true
  multiline.match: after
  paths:
    - /var/log/message1
  fields:
    tag: log1 # 添加不同的标签,用作解析时的不同的判断方式

- type: log
  enable: true
  paths:
    - /var/log/message2
  fields:
    tag: log2

reload.enabled: true 
output:  # 输出
  logstash: # 输出到 logstash
    hosts: ["elk1.test.xyz", "elk2.test.xyz", "elk3.test.xyz"] # logstash 的主机地址

c. 启动 filebeat

systemctl start filebeat
systemctl enable filebeat

启动完成后,稍等会就可以使用完整的 elfk 的完整功能了。当然了,每个公司对于 elk 的需求是不同的,本系列只做参考。

需要注意的是, 在 elfk 的集群中,最消耗系统资源的是 elasticsearch ,在日常的使用中,最容易出现问题的也是 elasticsearch ,大部分的原因都是因为内存不够,有时候不仅仅是只考虑增加机器的内存。需要从引起问题的原因本质出发,比如说设置索引的生命周期,将不常用的索引设置为 warm 或者 cold,或者将缓存减少。出现问题时,注意多分析日志,日志可以解决你几乎所有的问题。

还有一点,如果 kibana 页面也出现问题,也很有大部分的原因是 elasticsearch 集群出现问题,然后就去看 elasticsearch 的日志吧。。。

然后就是在实践中不断地做出调整了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值