Flink总结

1、有状态计算:处理和维护所有已处理记录的状态。

2、无状态计算:每次转换一条输入记录,并且仅根据最新的输入记录输出结果。

3、一致性:exactly-once  系统保证在发生故障后得到的计数结果与正确值一致。(Storm Trident 和 Spark Streaming)在性能和表现力这两个方面付出了很大的代价。为了保证exactly-once ,这些系统无法单独地对对每条记录进行运用逻辑,而是同时处理多条(一批)记录,保证对每一批的处理要么成功,要么全部失败。

4、Flink如何 保证exactly-once ??通过 check-point barrier 检查点屏障。

5、检查点屏障的原理:检查点由Flink系统自动生成插入到普通记录中,像普通记录一样在算子之间流动;算子收到检查点屏障时,它们会将位置和状态以异步的方式写入稳定存储。如果在计算过程中出现故障,Flink将输入流倒回到上一个检查点屏障的位置,同时回复算子的状态值;然后Flink从此处开始重新处理。这样保障了在记录处理之后,map算子的状态值与没有发生故障时的一致。

注意:如果检查点操作失败,Flink会丢弃该检查点并继续正常执行,因为之后的某一个检查点可能会成功。只有在一系列连续的检查点操作失败之后,Flink才会抛出错误,因为这通常预示着发生了严重且持久的错误。检查点依赖输入流的重放功能。

6、保存点:状态版本控制。人为控制的检查点。

7、端到端的一致性如何进行保障??Flink在将状态内容传送到输出存储系统的过程中,如何保证excatly-once那??
1)、在最后的算子输出环节缓冲所有输出,并在最后算子收到检查点时,将输出『原子提交』到存储系统。输出系统要具备『原子提交』的能力。
2)、在随时输出记录到外部存储时,牢记这些数据可能是脏数据,在发生故障时需要进行重新处理。如果发生故障,就需要将输出、输入和Flink作业全部回滚,从而将脏数据覆盖。

Flink有如下的流处理机制:
1)、检查点机制和状态机制:用于实现容错、有状态的处理。
2)、水印机制:用于实现事件时钟。
3)、窗口和触发器:用于限制计算范围,并定义呈现结果的时间。
Flink批处理机制:
1)、用于调度和恢复的回溯法:由Microsoft Dryad引入,现在几乎用于所有批处理起。
2)、用户散列和排序的特殊内存数据结构:可以在需要时,将一部分数据从内存溢出到硬盘上;
3)、优化器:尽可能地缩短生成结果的时间。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值