在大数据处理领域，批处理任务与流处理任务一般被认为是两种不同的任务，一个大数据框架一般会被设计为只能处理其中一种任务：
MapReduce只支持批处理任务；
Storm只支持流处理任务；
Spark Streaming采用micro-batch架构，本质上还是基于Spark批处理对流式数据进行处理
Flink通过灵活的执行引擎实现批处理和流处理任务的支持。它以固定缓存块进行网络传输，并允许用户通过设置缓存块超时值来平衡处理延迟和吞吐量。超时值为0时，类似于流处理模型；为无限大时，类似批处理模型。缓存块大小和超时阈值的调整使得Flink能根据需求灵活权衡延迟与性能。默认情况下，元素会缓存直到达到一定大小或等待时间触发发送。
最低0.47元/天 解锁文章
扫一扫
347
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
