spark.streaming.concurrentJobs参数分析

最新推荐文章于 2022-07-07 23:30:00 发布

xueba207

最新推荐文章于 2022-07-07 23:30:00 发布

阅读量1.1w

点赞数 1

分类专栏： Spark 文章标签： spark streaming concurrent scheduler executor

本文链接：https://blog.csdn.net/xueba207/article/details/51152627

版权

本文探讨了Spark Streaming中的`spark.streaming.concurrentJobs`参数，解释了它如何影响job执行并行度。增加该参数值能提高并行处理批次的能力。同时，文章建议在配置多个并发job时，根据executor资源考虑使用FAIR或FIFO调度模式，以优化任务执行效率。

摘要由CSDN通过智能技术生成

最近，在spark streaming 调优时，发现个增加job并行度的参数spark.streaming.concurrentJobs，spark 默认值为1，当增加为2时（在spark-default中配置），如遇到处理速度慢 streaming application UI 中会有两个Active Jobs（默认值时为1），也就是在同一时刻可以执行两个批次的streaming job，下文分析这个参数是如何影响streaming 的执行的。

参数引入

在spark streaming 的JobScheduler line 47，读取了该参数：

private val numConcurrentJobs = ssc.conf.getInt("spark.streaming.concurrentJobs", 1)
private val jobExecutor =  ThreadUtils.newDaemonFixedThreadPool(numConcurrentJobs, "streaming-job-executor")

使用concurrentJobs参数初始化jobExecutor线程池，也就是这个参数直接