日志采集之filebeat和flume，记一次字节跳动软件测试社招面试

2301_79099473

已于 2024-04-20 05:59:11 修改

阅读量830

点赞数 14

分类专栏： 2024年程序员学习文章标签： flume 面试大数据

于 2024-04-20 05:59:09 首次发布

本文链接：https://blog.csdn.net/2301_79099473/article/details/137986175

版权

2024年程序员学习专栏收录该内容

94 篇文章 0 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

Filebeat（基于6.5版本）

概述

filebeat的由来

Logstash是ELK****（ElasticSearch、Logstash、Kibana）组件中的一个。这三个组件往往是配合使用的：********ES负责数据的存储和索引，Logstash负责数据采集和过滤转换，Kibana则负责图形界面处理；********之后，****这三个组件又先后被收购于Elastic.co公司名下

因为logstash是jvm跑的，资源消耗比较大，所以后来作者又用go写了一个功能较少但是资源消耗也小的轻量级logstash-forwarder****。因为es公司本身还收购了另一个开源项目packetbeat，而这个项目专门就是用go语言********的，所以es公司干脆把logstash-forwarder的开发工作也合并到同一个团队，于是新的项目就叫filebeat了。****

logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少。filebeat可以发送到logstash****，进一步进行日志清洗和过滤。****

filebeat介绍

harvesters采集器****：****

一个采集器的职责是一行行的读取一个文件的内容，并且发送内容到output。（A harvester is responsible for reading the content of a single file. The harvester reads each file, line by line, and sends the content to the output.）

Inputs****：****

input的职责是管理采集器并且发现所有的资源去读取他们（An input is responsible for managing the harvesters and finding all sources to read from.）

当启动时，有1个或多个input去指定位置，为每一个文件启动一个收集器，收集器读取文件内容发送到libbeat，然后聚合event发送到output（When you start Filebeat, it starts one or more inputs that look in the locations you’ve specified for log data. For each log that Filebeat locates, Filebeat starts a harvester. Each harvester reads a single log for new content and sends the new log data to libbeat, which aggregates the events and sends the aggregated data to the output that you’ve configured for Filebeat.）

总结：一个filebeat client可以有多个input，当程序启动时，会根据文件目前的读取状态来判断是需要启动harvester，harvester负责文件的打开和关闭，读取文件。

具体实现

功能图：

流程图：

input

如何识别一个文件？

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！*