spark-streaming消费kafka写hbase代码实战调优

1、处理逻辑

通过新增map集合来提升处理性能

2、资源配置

--executor-cores 3 \
--num-executors 5 \
--executor-memory 2G \
--driver-memory 2G \

 

3、测试场景

这个topic有15个分区，并且数据量挺大，所以需要15个core处理，从earliest消费写到测试表，4千万的数据量

第三次测试 spark.streaming.kafka.maxRatePerPartition = 3000 开启反压

每个批次处理4s多，刚好能处理完