日志采集之filebeat和flume(1),2024年最新2024年哔哩哔哩软件测试高级面试题及答案

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新软件测试全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上软件测试知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip1024b (备注软件测试)
img

正文

一个采集器的职责是一行行的读取一个文件的内容,并且发送内容到output。(A harvester is responsible for reading the content of a single file. The harvester reads each file, line by line, and sends the content to the output.

Inputs****:****

input的职责是管理采集器并且发现所有的资源去读取他们(An input is responsible for managing the harvesters and finding all sources to read from.

当启动时,有1个或多个input去指定位置,为每一个文件启动一个收集器,收集器读取文件内容发送到libbeat,然后聚合event发送到output(When you start Filebeat, it starts one or more inputs that look in the locations you’ve specified for log data. For each log that Filebeat locates, Filebeat starts a harvester. Each harvester reads a single log for new content and sends the new log data to libbeat, which aggregates the events and sends the aggregated data to the output that you’ve configured for Filebeat.

总结:一个filebeat client可以有多个input,当程序启动时,会根据文件目前的读取状态来判断是需要启动harvesterharvester负责文件的打开和关闭,读取文件

具体实现

功能图:

流程图:

input
  1. 如何识别一个文件?

当文件重命名和移动时,依然可以读取这个文件。

对于每个input的文件,filebeat通过每个文件的元信息来识别文件,因为文件名和路径可能会改变,不会通过文件名等标识一个文件,filebeat保存文件的唯一标识符来识别一个文件,在Linux系统中,通过inode 存储文件的元信息)来进行识别。

文件句柄如何关闭?

为了实现的这种功能,当没有close_*配置时,会一直保存这个这个文件的hander,磁盘上的空间会保留。

Close_* 达到这些情况时,关闭hander。

close_inactive********以最后一次读取的日志时间为起点(即lastoffset),如果超过这个时间日志没有更新,则会关闭句柄。开始时间不是文件的修改时间。如果文件有更新,则在下一次scan时会再次被收集。

close_renamed********被重命名时,关闭句柄。默认是不会关闭的。

Close_removed 被删除时,关闭句柄

Close_eof 读完一个文件就关闭。用于读取存量不会更新的文件。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注软件测试)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!*

  • 15
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值