Spark Streaming背压机制

概念

• 数据流入速度远高于速度处理速度,对流处理系统造成压力
• 需要一种机制进行处理,就是背压机制 back pressure

应用

1.5版本之前

receiver-based
receiver-based数据接收器，可以配置spark.streaming.receiver.maxRate参数来限制每个receiver每秒最大可以接收的数据量

direct-approach
direct-approach方式接收数据，可以配置 spark.streaming.kafka.maxRatePerPartition 参数来限制每个kafka分区最多读取的数据量。

缺点
实现需要进行压测，来设置最大值。参数的设置必须合理，如果集群处理能力高于配置的速率，则会造成资源的浪费。
参数需要手动设置，设置过后必须重启streaming服务。

新版背压机制(spark1.5之后)

新版的背压机制不需要手动干预，spark streaming能够根据当前数据量以及集群状态来预估下个批次最优速率。

相关参数

spark.streaming.backpressure.enabled 
设置为 true 开启反压
spark.streaming.kafka.maxRatePerPartition 
每个partition每秒最多消费条数
spark.streaming.backpressure.rateEstimator 
速率估算器类，默认值为 pid ，目前 Spark 只支持这个。

以下参数仅针对PID速率估算器设置

spark.streaming.backpressure.pid.proportional：
用于响应错误的权重（最后批次和当前批次之间的更改）。
默认值为1，只能设置成非负值。
spark.streaming.backpressure.pid.integral：
错误积累的响应权重，具有抑制作用（有效阻尼）。默认值为 0.2 ，只能设置成非负值。
spark.streaming.backpressure.pid.derived：
对错误趋势的响应权重。 这可能会引起 batch size 的波动，可以帮助快速增加/减少容量。默认值为0，只能设置成非负值。
spark.streaming.backpressure.pid.minRate：
可以估算的最低费率是多少。默认值为 100，只能设置成非负值。

总结

• 由于背压机制,spark可以动态的实时感知数据量大小和资源情况，按照现有的资源进行拉去数据，保证每个批次数据处理不会太大
• 新版一般无需手动调整