java mongodb 丢数据_MongoDB遇到的疑似数据丢失的问题。不要用InsertMany！

最近做数据备份的时候发现了有个很严重的问题，那就是数据丢失(最后证明没丢，是别的问题造成的)。

问题如下：

我通过两种方式在两个mongoDB集群中，对一组collection进行备份，最后2个备份数据的数据个数不相同，并且都小于原始collection的count结果。于是便开始寻求解决办法，流程如下：

1、记录3组数据，原始数据集按条件count有909217个数据，备份代码如下，其中replaceOne备份下来的数据有907582条，而使用insertMany备份下来的结果有906281条(注释是之后加的，之前用的是insertMany)：

rdd.foreachPartition { x => {

val mongoURI = new MongoClientURI(uri)

val mongo = new MongoClient(mongoURI)

val db = mongo.getDatabase("wenshu")

val dbColl = db.getCollection("testbackup")

val mongoURI2 = new MongoClientURI(uri2)

val mongo2 = new MongoClient(mongoURI2)

val db2 = mongo2.getDatabase("wenshu")

val dbColl2 = db2.getCollection(backName)

var count = 0

var resList = new ArrayList[Document]

x.foreach(y => {

//count = count + 1

//resList add y

try{

dbColl.replaceOne(eqq("_id", y.get("_id")), y, new UpdateOptions().upsert(true))

dbColl2.insertOne(y)

}catch{

case e: Throwable => e.printStackTrace()

}

//使用这种方式插入会导致插入的数据和真实数据数量对应不上， 先注释掉有机会再找原因

//if (count == 10000){

//try{

//dbColl2.insertMany(resList, new InsertManyOptions().ordered(false))

//}catch{

//case e: Throwable => e.printStackTrace()

//}

//resList.clear

//count = 0

//}

})

//if (count > 0)

//try{

//dbColl2.insertMany(resList, new InsertManyOptions().ordered(false))

//}catch{

//case e: Throwable => e.printStackTrace()

//}

2、通过查询stackoverflow和jira发现数据丢失问题曾经存在过，但都是2.0之前的mongodb，现在商用化之后的mongodb基本没人出现过数据丢失问题。

3、检查代码，发现不是插入代码错误。

4、对抽出来的907582条数据的库进行备份，还是用上述程序，发现replaceOne的数据有907582，而insertmany只有904291条数据。

5、结合上述条件，推测是insertMany导致部分数据丢失，所以才会出现insertMany结果和replaceOne不一样。

6、对此结论进行测试，将insertMany改为上述代码中的insertOne重新备份907582条数据。

7、结果正确，重新备份下来的2份数据都是907582条。目前解决了其中一个问题，就是备份出来的两份数据不一样多的问题，接下来考虑备份数据和从总库中抽取的数据不一致的问题。

8、对mongo shell的count操作查找其工作原理，发现有一些报告count数据不准的问题，结合自身原因推测是count的问题，数据应该只有907582条。

9、通过多抽取几遍对这个问题进行测试，按同样条件抽了3遍返回的结果都是907582条，可以认定数据库中只有907582条满足此条件的数据。

结论：

1、MongoDB的Count操作有可能返回错误的结果。至少在Sharding Cluster，多个索引和2级索引的条件下会出现这种问题。

2、插入时不要使用InsertMany，会导致数据丢失。

3、同理，尽量不要使用updateMany，虽然不会导致数据丢失，但是按照结论2推测有可能出现某些数据更新失败的情况。