Flume
文章平均质量分 84
十二点的泡面
这个作者很懒,什么都没留下…
展开
-
大数据之使用Flume监听本地文件采集数据流到HDFS
编写新的Flume配置文件,将数据备份到HDFS目录/user/test/flumebackup下,要求所有主题的数据使用同一个Flume配置文件完成,将Flume的配置截图粘贴至对应报告中。-Dflume.root.logger=INFO,console 打印输出在控制台上。进入/data_log路径运行脚本make_data_file_v1产生数据源。原创 2024-01-09 22:07:52 · 1076 阅读 · 1 评论 -
大数据之使用Flume监听端口采集数据流到Kafka
题目:在Master节点使用Flume采集实时数据生成器25001端口的socket数据(实时数据生成器脚本为Master节点/data_log目录下的gen_ds_data_to_socket脚本,该脚本为Master节点本地部署且使用socket传输),将数据存入到Kafka的Topic中(Topic名称为ods_mall_log,分区数为4),使用Kafka自带的消费者消费ods_mall(Topic)中的数据,查看前2条数据的结果;原创 2024-01-05 21:16:57 · 3199 阅读 · 2 评论