数据采集模块——Flume消费Kafka数据写入到HDFS
一、项目背景
1. 实时数据写入到 Kafka topic 中,经 Flume 批量采集到 HDFS 上。此处的实时数据格式为标准 JSON 格式(不包含嵌套 JSON)。
2. 测试环境模拟数据的采集过程。测试集群为 第三方公司 基于当前主流开源组件自主研发并搭建的大数据平台,包含常用组件:HDFS,MapReduce,Yarn,Hive ,HBase ,Phoenix,Zookeeper,...
原创
2020-03-27 11:54:17 ·
3258 阅读 ·
1 评论