flume
文章平均质量分 64
爱喝水的绿萝
这个作者很懒,什么都没留下…
展开
-
Flume(一)
Flume(一)服务:启动后监听某个端口,等待客户端连接,并处理客户端请求。客户端断开连接后,服务程序依然运行。工具:需要使用工具的功能时,启动程序。使用完毕后,工具程序可以直接关闭。框架:一个半成品软件,需要开发人员根据业务逻辑填写核心代码,组成完成的程序,提供工具或者服务的功能。是什么在数据处理场景中,数据的产生往往分散在时间空间不同的各个服务器上,需要将各个服务器的数据自动化采集到同一个HDFS集群,就需要使用自动化采集工具flume是一个hadoop生态中的专用用来进行海量日志,收原创 2021-12-06 10:39:28 · 618 阅读 · 0 评论 -
Flume(二)
Flume(二)flume常见架构1、单数据源单接口到HDFS集群[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sRICBtiN-1638758418070)(F:\大数据\图片7.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RiqicdfM-1638758418071)(F:\大数据\图片8.png)]# taildir读取同目录中的多个日志文件 将数据发送到hdfs# 声明组件名称taildir2hdfs.sou原创 2021-12-06 10:40:53 · 391 阅读 · 0 评论 -
Flume(三)面试题
1、你是如何实现Flume数据传输的监控的 使用第三方工具Ganglia实时监控Flume,通过Ganglia工具页面展示的flume运行时的put和take数量对flume进行监控2、Flume参数调优 1.Source 通过增加Source的个数增大Source的读取数据的能力; batchSize参数决定Source一次批量运输到Channel的event条数,适当调大可以提高Source搬运event的性能。 2.Channel memory 性能高,但是可能会原创 2021-12-06 10:41:57 · 721 阅读 · 0 评论