structure streaming 使用小结2-正确率

背景,使用structure streaming 实现类似关系型数据库的update操作。

测试方法:分别采用append和update模式进行,选定一个主键rowkey,进行value的数据更新操作,通过seleep控制数据产生的速度。

通过控制台显示数据,当数据产生速度在间隔1s以上时,数据顺序正确,可以正常显示。当产生速度在800ms以下时,数据会产生顺序错乱。

业务描述,统计卖票钱数,数据来源是更新的(ogg同步的oracle的累计表),当一秒内卖出多张票,kafka会接受到多条数据,需要按照顺序进行更新,但是structure streaming会分批进行处理,导致出现大数在前,小数在后的错乱场景,造成数据错误。不具有事务性。

对于update类的实时报表,采用structure streaming进行处理有潜在风险,需要知道数据的更新频率是否大于structure streaming的处理批次间隔。还有消费历史数据时,出现错乱的机会更大。

正常顺序

 错乱顺序(间隔10ms)

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值