- 博客(1)
- 收藏
- 关注
转载 SparkStreaming消费Kafka数据限速问题
SparkStreaming消费Kafka数据的时候,当有大量初始化数据时会拖累整个streaming程序的运行,问有什么办法? 总体来说这个问题大概有两种解决思路: 1.在Spark端设置限速;2.在Kafka端设置限速。 Spark端限速的方法知乎上已有很多帖子说过了,主要的思路是设置不同的参数,比如在Direct模式下设spark.streaming.kafka.maxRat...
2019-04-22 11:43:00 1030
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人