总结：Flink

一、为什么要使用分布式计算框架？

对于不涉及到IO的计算，分布式计算相当于多个人计算，如10台计机器计算速度是1台机器计算速度的10倍。而分布式计算框架能充分发挥分布式计算优势。

 

二、Flink优秀设计理念之强一致性（灾备）

Flink是如何做到在Checkpoint恢复过程中没有任何数据的丢失和数据的冗余？来保证精准计算的？

这个设计理念非常好，很适合做灾备。每个拓扑节点会生成一次快照，故障时候选择最新快照即可。比如拓扑节点A，B，C，在B拓扑节点出故障（B还未来得及生成快照），则在机器重启后取A节点处理即可。

这其中原因是Flink利用了一套非常经典的Chandy-Lamport算法，它的核心思想是把这个流计算看成一个流式的拓扑，定期从这个拓扑的头部Source点开始插入特殊的Barries，从上游开始不断的向下游广播这个Barries。每一个节点收到所有的Barries,会将State做一次Snapshot，当每个节点都做完Snapshot之后，整个拓扑就算完整的做完了一次Checkpoint。接下来不管出现任何故障，都会从最近的Checkpoint进行恢复。

转载于:https://my.oschina.net/weiweiblog/blog/3095225