读取MongoDB最新入库数据时,数据丢失

场景

将不断写入到 MongoDB 某张表的增量数据,及时读取出来,然后进行其他操作。

问题

在验收其他操作结果时发现,各个时间段的数据多多少少会有丢失现象。

排查

有问题,就找官方文档。
地址:https://www.mongodb.com/docs/manual/reference/bson-types/#objectid
While ObjectId values should increase over time, they are not necessarily monotonic. 
This is because they:
- Only contain one second of temporal resolution, so ObjectId values created within the same second do not have a guaranteed ordering
- Are generated by clients, which may have differing system clocks.

大意是:
尽管 ObjectId 随着时间递增,但是过程并非单调。主要原因有以下两个:
1、ObjectId 的时间精度只有一秒钟,因此同一秒钟内产生的ObjectId 不能保证单调;
2、不同客户端不同系统计时器导致。

从文档可以得知,当每秒钟内写入某张表数据量较多时,如果根据 _id 排序取值,由于 ObjectId 时间精度的特性无法准确排序,
导致取值丢失。

在这里插入图片描述

解决

在需求允许范围内,降低数据实时性:将实时取值改为延时取值,如延时 5 秒取值(或者其他时间 delay 也可)
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值