Spark Streaming性能优化:如何在毫秒内处理大吞吐量和数据波动比较大的流计算
Spark Streaming的处理模式是按照Batch Duration进行Micro Batch Computation的,且如果上一批数据没有处理完的话是不会处理下一批数据的!这会导致几个结果:
第一:如果前面一个Batch数据量突然间特别大的话,就会导致计算的高度延迟,使得当前的Batch不能够得到及时的计算,以此类推。会陷入恶性循环。
第二:在一个Batch处理的时候如果Task处理的时间波动比较大(例如说数据倾斜、数据的峰值、出错等),其他的Task都已经处理完了,所以整个Batch处理就只是在等待这个Task处理完成,却不能够使用Memory和Cores等资源处理下一个Batch任务,会形成资源的极大浪费。
第三:JVM的GC的巨大负担
市面上说的解决方式:限流、改Partition并行度、增加Cores和Memory等等
所以,唯一效果显著的办法:不要等待!什么意思?就是无论Batch Duration数据大小和处理的复杂度,都会立即完成当前Batch的处理,然后立即去处理下一个Batch的任务!
怎么做?此时我们既要完成业务的计算,又要达到毫秒级别的延迟!
一个可能办法是:Spark Streaming的业务处理逻辑放在线程池中!而绝妙的精彩之处在于Spark Streaming程序执行的时候,业务逻辑就是以Task的方式放在线程池中的!所以可以最大化的复用线程,从而最佳化的使用硬件资源!模拟代码如下:
dstream.foreachRDD(rdd =>
rdd.foreachPartition( splited => {
//业务处理逻辑,如果直接处理的话就会是阻塞式的,但是此时我们可以使用线程池去处理业务逻辑(此处的线程池是你自己定义的),此时任务肯定是毫秒级别完成的。
//此时唯一需要注意的是线程数受限于物理硬件,所以需要根据实际情况设定线程池中并发Task的个数,例如不能够超过200个,如果超过了,怎么办呢?新的Task就采用阻塞式操作,此时其它的线程在并行运行并且不断的完成Task,就会有新的可用线程来进行异步操作!
})
)