大数据课程——Flume综合运用

最新推荐文章于 2023-06-08 19:05:29 发布

冰冷灬泡面

最新推荐文章于 2023-06-08 19:05:29 发布

阅读量825

点赞数

分类专栏：大数据课程学习文章标签： big data flume kafka

本文链接：https://blog.csdn.net/weixin_43334251/article/details/124667615

版权

本文档详细介绍了在大数据课程中使用Flume进行数据收集与处理的实验，包括从数据源监控到数据流向Kafka和HDFS的配置步骤。在实验中遇到的问题是Agent2的选择器未能正确根据Header中的EventType对消息进行分流，尽管测试显示eventType已成功写入Header。实验展示了Flume的Source、Sink和Interceptor的配置，以及在Agent1、Agent2和Agent3上的具体设置。尽管Agent1的拦截器生效，但Agent2的分流功能未能正常工作，所有数据都进入了HDFS，而未按预期流向Kafka。

摘要由CSDN通过智能技术生成

大数据课程——Flume综合运用

实验内容以及要求

如下图所示，在某一实际应用中，有一个的数据源(可用Source类型为Exec Source或NetCat Source的Agent a1来用模拟），为方便后期数据分析，需要记录事件的产生IP、时间（格式：年月日时分秒）以及事件类型（事件类型根据事件Body中包含WARNING：、ERROR：、INFO：来确定为WARNING、ERROR、INFO，如不包含，则无需记录事件类型），事件经处理后汇总到Agent a2。Agent a2根据事件类型，将事件分别送入不同通道进行下一步处理，并将事件类型为WARNING、ERROR写入Kafka集群，并最终被消费者和Agent a3进行消费。

请按照上述应用场景，部署Flume和Kafka，并完成相应的配置。

问题总结

本次实验其实不算非常成功，主要问题在于Agent2的选择器没能起作用，不能成功根据Header中的EventType对消息进行分流。最终找了很久也没找出原因。我自己的测试过eventType是否成功被写入Header中，但测试结果是肯定的，已经成功把eventType写入了event的Header中了。而且配置文件也检查了很多遍，没发现问题，运行时也没报错。但就是不知道为什么选择器不能成功发挥作用。