第116课： Spark Streaming性能优化：如何在毫秒内处理处理大吞吐量的和数据波动比较大的程序

段智华

于 2016-06-03 21:14:24 发布

阅读量7.6k

点赞数 1

分类专栏：大数据IMF传奇行动－Spark Hadoop

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/51581752

版权

大数据IMF传奇行动－Spark Hadoop 专栏收录该内容

109 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文讨论了在Spark Streaming中如何优化性能，确保在处理高吞吐量和数据波动时仍能实现低延迟。通过合理配置线程池，避免超过Cores限制的并行线程，以及利用Spark调度模型进行异步操作，确保数据完整性和作业效率。业务逻辑集中在foreachRDD操作中，Stage内部并行，外部串行，Task由Executor线程池处理，实现高效低延迟的数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第116课： Spark Streaming性能优化：如何在毫秒内处理处理大吞吐量的和数据波动比较大的程序

1 大吞吐量和数据波动比较大的程序
2 Spark streaming中的解决方案

-数据规模非常大，数据的处理会大于batch interval
-数据波动非常大，峰值非常大，让人提心吊胆的地方
办法：加硬件：内存、cpu cores 但要花公司的钱
限流：log日志观察；如双11，限流会损失交易
增加batch的时间，但波峰之外的时间不需要
上述办法都不理想。

唯一的有效的效果显著的办法，不要等待！！什么意思？就是无论batch duration数据大小和处理的复杂度，都会立即完
成当前batch的处理，然后立即去处理下一个batch的任务！！

怎么做？此时既要完成业务计算，又要达到毫秒级别的延迟！
一个可行的办法是：Spark Streaming的业务处理逻辑放在线程池中！！！而绝妙的精彩之处在于Spark Streaming执行的时候业务
逻辑就是以task的方式放在线