![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
SusurHe
这个作者很懒,什么都没留下…
展开
-
Flink容错机制-双十一神话的安全保障
Flink容错机制以及Chandy-Lamport算法 流式计算分为有状态和无状态两种情况,所谓状态就是计算过程中的中间值; 对于无状态计算,会独立观察每个独立事件,并根据最后一个事件输出结果:对于一个流式系统接收到一系列的数字,当数字大于N则输出,这时候在此之前的数字的值、和等情况,压根不关心,只和最后这个大于N的数字相关就行; 有状态计算:想求过去一分钟所有数字的和或者平均数等,这种就需要保存...原创 2019-11-17 14:44:47 · 257 阅读 · 0 评论 -
Flink的时间(Time)机制
乱序问题 某数据源中的某些数据由于某种原因会有5秒的延迟,也就是在实际时间的第1秒产生的数据有可能5秒中产生的数据之后到来,如何让这个延迟的数据回到正确的顺序位置; Time类型: Time是Flink中重要概念之;关于Apache Flink中有如下三种时间类型: Processing Time : 处理时间,当前机器处理该事件的时间(即进入某个算子时的系统时间),有着最好的性能和最低的延迟...原创 2019-11-14 21:34:25 · 2117 阅读 · 0 评论 -
Flink-双十一神话的基石
2019年天猫双11再次刷新世界记录,订单创新峰值达到54.4万笔/秒,单日数据处理量达到970PB;支撑起这个双十一狂欢神话是阿里强悍的数据云上系统,这其中阿里的数据计算云引擎Blink功不可没,而Blink正是由Apache的顶级项目Flink经过"阿里化“而来; 四代计算引擎: MapReduce:批处理引擎,为其他计算引擎提供量大数据处理的核心思想:Mapper、Reduce; Stor...原创 2019-11-14 10:05:26 · 308 阅读 · 0 评论