设置spark.streaming.kafka.maxRatePerPartition的原则
spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的,
一般和spark.streaming.backpressure.enabled=true一起使用。
那么应该怎么算这个值呢?
如例:若要10分钟的吞吐量控制在5000,0000,kafka分区是10个。
也就是说spark.streaming.kafka.maxRatePerPart
设置spark.streaming.kafka.maxRatePerPartition的原则
spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的,
一般和spark.streaming.backpressure.enabled=true一起使用。
那么应该怎么算这个值呢?
如例:若要10分钟的吞吐量控制在5000,0000,kafka分区是10个。
也就是说spark.streaming.kafka.maxRatePerPart