[问题已处理]-filebeat采集日志没有在kibana展示

导语:以前测试环境使用的es是老版本。不能设置生命周期,需要定时执行脚本删除索引。升级了es kibana filebeat3个最新版本7.14.1之后 发现日志没搜集到es,没展示在kibana中。

排查filebeat7.14.1日志

日志获取到了变更,并且连接到了es成功。

但是kibana没有对应的日志。

这边怀疑是升级版本的缘故。

更换成老版本的filebeat6.0.0,可以获取日志变更,并且连接到了es成功。日志采集成功。

这边判断是filebeat的问题。继续排查。使用7.14.1的filebeat和7.14.1的新的es。这边更换一个索引名称测试,发现新的索引名称无法在es中创建,但是手动创建索引是没问题的。

查询资料发现有个参数需要调整

新版本提示开启了ILM策略

翻官方文档(https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html)后发现:
index配置部分中提示 The index setting is ignored when index lifecycle management is enabled
意思就是index设置的参数在索引生命周期管理(ilm)开启后会忽略。

查看ilm文档 https://www.elastic.co/guide/en/beats/filebeat/current/ilm.html 提示:
Starting with version 7.0, Filebeat uses index lifecycle management by default when it connects to a cluster that supports lifecycle management
从7.0版本开始,当elasticsearch支持生命周期管理时,filebeat默认使用索引生命周期管理,这样就导致自己修改的日志文件名无效了。

关闭ilm功能即可(setup.ilm.enabled: false)。默认是auto,新版本filebeat无法创建索引。

调整成false之后就可以创建索引采集日志成功了。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: Filebeat和Flume是两种常见的日志收集工具。 Filebeat是一种轻量级的日志收集工具,由Elasticsearch公司开发。它的主要功能是监控文件变动,并将变动的日志数据发送给不同的目标,如Elasticsearch、Logstash等。Filebeat可以轻松地安装和配置,适用于小型到中型的环境。它使用了低资源消耗的方式,能够高效地将日志数据收集和发送。 Flume是Apache软件基金会开发的另一种日志收集工具。它是一个可扩展的、分布式的系统,用于采集、聚合和移动大量的日志数据。Flume的核心是Event、Channel和Sink。Event是日志数据的基本单元,Channel是用于存储Event的缓冲区,Sink是用于将Event发送到目标系统的组件。Flume可以与多种数据源和目标集成,并且可以通过拓扑结构进行配置,以满足不同场景的需求。 两者的不同之处主要体现在以下几个方面: 1. 功能和用途:Filebeat主要用于收集、过滤和发送日志数据,适用于小型到中型的环境;而Flume不仅可以用于日志收集,还可以进行数据聚合、转换和分发,适用于大型的分布式环境。 2. 架构和可扩展性:Filebeat是一个轻量级的单节点工具,适用于规模较小的环境,可通过增加更多的Filebeat实例实现扩展;而Flume采用了分布式的架构,可以通过增加Agent和Sink等组件来实现高可用和高性能的日志传输。 3. 社区和生态系统:Filebeat由Elasticsearch公司维护,与其它Elastic产品(如Elasticsearch、Logstash、Kibana)的集成相对简单;而Flume是Apache软件基金会的项目,有大量的社区支持和丰富的生态系统,可以与各种大数据组件进行集成。 综上所述,Filebeat和Flume都是强大的日志收集工具,选择哪个取决于实际需求和环境规模。如果只需要简单的日志收集和传输功能,可以选择Filebeat;而对于复杂的日志处理和大规模的分布式环境,则可以选择Flume。 ### 回答2: Filebeat和Flume都是用于日志收集的工具,但在实现细节和部分功能上有所不同。 1. 架构: - Filebeat: Filebeat是Elasticsearch公司开发的一个轻量级的开源日志收集工具。它可以将日志文件从指定位置读取并发送到Elasticsearch、Logstash等目标系统。 - Flume: Flume是Apache基金会开发的一个分布式的、可靠的和高可用性的数据收集工具。Flume使用Agent和Sink的架构模型,Agent负责从原始数据源收集日志,然后通过Channel存储到Sink进行集中式处理。 2. 部署和配置: - Filebeat: Filebeat提供了轻量级的安装和配置。只需要在目标服务器上安装Filebeat,并通过简单的配置文件指定日志文件路径和目标系统即可。 - Flume: Flume需要在每个Agent和Sink节点上部署,并进行复杂的配置,包括Agent、Channel和Sink的组合配置,以及事件过滤、转换等。 3. 可靠性和可扩展性: - Filebeat: Filebeat具有较低的资源占用和较好的性能,适合在单机上处理日志。但在大规模日志收集和高可用性需求下表现不足。 - Flume: Flume具有高可靠性和可扩展性,可以通过配置多个Agent和Sink进行分布式部署,同时支持数据备份和故障恢复。 4. 功能扩展性: - Filebeat: Filebeat提供了一些基本的功能,如文件追踪、多行日志处理和数据编码等。对于高级功能如事件过滤、转换以及复杂的数据处理,需要结合Logstash等工具一起使用。 - Flume: Flume提供了丰富的功能和插件,包括事件过滤、转换,以及自定义Sink插件等。同时,Flume支持自定义的Channel和拦截器,可以进行更加复杂的数据处理和转发。 综上所述,Filebeat适用于简单的日志收集场景,部署简单且性能较好。而Flume适用于大规模分布式的日志收集和复杂的数据处理场景,功能丰富且具有高可靠性和可扩展性。最终的选择应根据实际需求和系统架构来决定。 ### 回答3: Filebeat是一个轻量级的数据传输工具,用于收集日志文件和指定位置的其他文件,然后将其发送到Elasticsearch或Logstash进行进一步的处理和分析。它是Elastic Stack的一部分,用于实时数据传输和处理。 Flume是一个分布式、可靠且可扩展的日志收集和聚合系统,主要用于大规模日志数据的传输和处理。它支持各种数据源和目标,并提供了强大的过滤和转换功能。 Filebeat和Flume在以下几个方面有所区别: 1. 架构:Filebeat采用轻量级代理方式,通过直接读取文件内容,并将数据发送到目标系统,因此对硬件资源和网络带宽要求较低。而Flume是一个完整的分布式系统,包含多个组件,可以实现高吞吐量和可靠性。 2. 功能特性:Filebeat的主要功能是文件收集和传输,支持多种输入源和目标,具有简化的配置和部署。而Flume功能更加丰富,支持广泛的数据源和目标,并提供了过滤、转换等高级功能,适用于复杂的数据处理需求。 3. 可伸缩性:Flume通过分布式架构和拓扑模型来支持高可伸缩性,可以实现数据的高吞吐量传输和处理。Filebeat的设计更加简单,适用于小规模和中等规模的数据传输。 4. 社区支持:Filebeat是Elastic Stack的一部分,拥有活跃的开源社区,提供了丰富的文档和示例。Flume同样也是一个开源项目,拥有庞大的用户群体和活跃的社区支持。 综上所述,Filebeat和Flume都是用于日志数据传输和处理的工具,但在架构、功能特性、可伸缩性和社区支持等方面有所区别,根据具体的需求和环境选择适合的工具更为重要。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爷来辣

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值