第二章 Flink对比Spark的多角度剖析

1、流式计算框架对

2、API对比

3、数据源对比

4、运行环境对比

5、最大区别

• 在执行引擎这一层， 流处理系统与批处理系统最大的不同在于节点间数据传输的方式。
• 对于一个流处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，然后立刻通过网络传输到下一个节点，由下一个节点继续处理。
• 对于一个批处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，并不会立刻通过网络传输到下一个节点，当缓存写满，就持久化到本地硬盘上，当所有数据都被处理完成后，才开始将处理后的数据通过网络传输到下一个节点。