Spark和Flink的输出一致性保证及事务

本文探讨了Spark和Flink在输出一致性及事务处理方面的保证。事务的ACID特性包括原子性、一致性、隔离性和持久性。大数据计算通常采用粗粒度的处理方式,而事务则是细粒度操作。Spark实现Exactly-Once语义依赖于数据源的重放、计算引擎本身的特性以及Sink系统的幂等或事务性写入。Flink则通过2CP两阶段提交协议来确保一致性,但需要外部Sink支持事务。
摘要由CSDN通过智能技术生成

事务

可以称之为一次对数据库进行的操作序列。

特性(ACID)

原子性:指这些操作序列具有原子性,不可分割,要么全部执行成功,要么全部失败。

一致性:
一致性概念的说法很多,有说事务执行前后状态保持正确的,有说完整性体现的,也有说从一个一致性状态变成另一个一致性状态的,也有说是对数据可见性约束的等等。个人感觉还是很含糊,根据维基百科描述并综合一些观点,我的总结如下:
1)、一致性是针对事务执行前后数据的状态而言的。
2)、事务执行前数据处于一个合法有效状态,事务执行后数据也要处于一个合法有效状态。
3)、一致性C是目的,数据库本身不管事务执行的结果是否正确,其它AID三种特性是手段,来确保一致性。

隔离性:在某个事务没有提交之前,其它事务不能看到该事务的中间结果,以进行并发控制。
持久性:事务被提交之后,它对数据库中数据的改变是永久性的。

粒度

大数据计算通常是运用分治法,将庞大计算量分布到多个计算单元上,再对所有计算单元上的数据运用同一套计算逻辑,以达到海量数据处理的目的,这也是大数据处理的优势。可见,其特点是计算逻辑相同,只是每个计算单元分担的数据不同。可将其理解为处理对象上的粗粒度。

事务通常是细粒度的操作,可能是针对某一条数据的更新、查询、插入、删除等,并且一个操作序列可能较多,而且还具有强相关性,比如

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值