Spark Streaming性能优化:如何在生产环境下应对流数据峰值巨变
1、数据峰值的巨大影响
2、Spark的Backpressure(反压)内幕
Backpressure根据上一个job的统计信息(如delay等),通过自己的算法,来决定下一个Batch Interval的接收速度
如何限制接收速度
反压机制在哪里会有?Driver
jobScheduler启动RateController
1、数据峰值的巨大影响
2、Spark的Backpressure(反压)内幕
Backpressure根据上一个job的统计信息(如delay等),通过自己的算法,来决定下一个Batch Interval的接收速度
如何限制接收速度
反压机制在哪里会有?Driver
jobScheduler启动RateController