Spark控制消费速率

spark.streaming.backpressure.initialRate

spark2.0版本以上

这是启用背压机制时每个接收器将接收第一批数据的初始最大接收速率。限制第一次批处理应该消费的数据，因为程序冷启动 队列里面有大量积压，防止第一次全部读取，造成系统阻塞

This is the initial maximum receiving rate at which each receiver will receive data for the first batch when the backpressure mechanism is enabled.

默认值为空,没有设置

spark.streaming.kafka.maxRatePerPartition

设置每秒每个分区最大获取日志数，控制处理数据量，保证数据均匀处理。使用新的Kafka Direct Stream API时，将从每个Kafka分区读取数据的最大速率（每秒的记录数）。

spark.streaming.backpressure.enabled

启用或禁用Spark Streaming的内部背压机制（自1.5开始）。 这使Spark Streaming能够基于当前的批处理调度延迟和处理时间来控制接收速率，以便系统仅接收与系统可处理的速度一样的速度。 在内部，这可以动态设置接收器的最大接收速率。 如果设置了该值，则上限为spark.streaming.receiver.maxRate和spark.streaming.kafka.maxRatePerPartition值。

Enables or disables Spark Streaming’s internal backpressure mechanism (since 1.5). This enables the Spark Streaming to control the receiving rate based on the current batch scheduling delays and processing times so that the system receives only as fast as the system can process. Internally, this dynamically sets the maximum receiving rate of receivers. This rate is upper bounded by the values
spark.streaming.receiver.maxRate and spark.streaming.kafka.maxRatePerPartition if they are set.

默认是false,就是没有开启.

spark.streaming.receiver.maxRate

每个接收器接收数据的最大速率（每秒的记录数）。 实际上，每个流每秒最多消耗此数量的记录。 将此配置设置为0或负数将不限制速率。

总结

通过以上几个参数可以控制spark Streaming的消费速度

参考

Configuration - Spark 3.0.1 Documentation:
SparkStreaming-Kafka数据的消费_窗外的屋檐-CSDN博客

flink和spark Streaming中的Back Pressure - 云+社区 - 腾讯云