Spark Streaming+Kafka spark 写入 kafka
目录
前言
Spark streaming接收Kafka数据
基于Receiver的方式
直接读取方式
Spark向kafka中写入数据
Spark streaming+Kafka应用
Spark streaming+Kafka调优
合理的批处理时间(batchDuration)
合理的Kafka拉取量(maxRatePerPartition重要)
缓存反复使用的Ds...
转载
2018-09-14 17:47:49 ·
7189 阅读 ·
0 评论