SparkStreaming的背压机制

Spark 1.5以前版本，用户如果要限制Receiver的数据接收速率，可以通过设置静态配制参数“spark.streaming.receiver.maxRate”的值来实现，此举虽然可以通过限制接收速率，来适配当前的处理能力，防止内存溢出，但也会引入其它问题。比如：producer数据生产高于maxRate，当前集群处理能力也高于maxRate，这就会造成资源利用率下降等问题。(注：当处理能力小于接收速率时，容易造成内存溢出，但是当大于限制的接收速率时，又会浪费性能优势)

为了更好的协调数据接收速率与资源处理能力，1.5版本开始Spark Streaming可以动态控制数据接收速率来适配集群数据处理能力。背压机制（即Spark Streaming Backpressure）：根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率。

通过属性“spark.streaming.backpressure.enabled”来控制是否启用背压机制，默认值false，即不启用。

注：

背压机制：动态调整采集器采集消息的速度与执行器处理消息的速度

    采集器对kafka中的消息进行采集，然后将消息分配给执行器处理

    1） 当采集器接收消息过快，Executor来不及处理，会导致内存溢出，所以采集器要降低采集速度

    2） 当采集器的速度降低到一定程度，Executor处理消息的能力大于采集速度，会有浪费性能

    3） 背压机制就是采集器根据Executor处理消息的能力动态调整采集速度，以便达到最佳的处理效果。

    4）当数据量大，且不可控时，需要开启背压机制，动态调整接收与处理的速率。反之当数据量稳定时需要关闭背压机制，自己手动设置接收器速率，因为背压机制会一直占用计算资源进行动态调整的计算。