扫一扫加入大数据公众号和技术交流群,了解更多大数据技术,还有免费资料等你哦
简介
流处理系统必须能优雅地处理反压(backpressure)问题,因为实时流处理必然会遇到这样的场景:短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。反压如果不能得到正确的处理,可能会导致资源耗尽甚至系统崩溃,目前主流的流处理系统Storm/Spark Streaming/Flink 都已经提供了反压机制,不过其实现各不相同。spark的反压机制参考我的上篇博客:https://blog.csdn.net/aA518189/article/details/86175816
背压指标计算
介绍反压之前我们先把背压指标计算的原理介绍一下,明白背压指标背后的计算逻辑后,
本文介绍了Flink的反压机制,讨论了背压指标计算原理,包括背压状态和网络流控。Flink通过Credit反压策略实现动态限流,避免数据堆积,保证系统稳定性。文章还探讨了Flink如何在吞吐量和延迟之间做权衡,以及不同Buffer timeout设置对性能的影响。

订阅专栏 解锁全文
1726

被折叠的 条评论
为什么被折叠?



