MongoDB全量迁移断点续传功能学习与实现

1.    背景

       MongoDB是一个基于分布式文件存储的开源数据库系统，用户存储文本数据。MongoDB提供了一个面向文档的存储，操作起来比较简单容易，查询速度快等特点。数据迁移是数据库工作中经常见到的一个场景，比如扩容、备份、上云等需求，数据迁移包括全量迁移和增量迁移。在全量迁移的过程中，为了追求速度，提高迁移效率，通常使用高并发的方式，这种并发通常是行级别，而在迁移的过程中，由于经常因为某种原因导致迁移失败，比如网络断了，数据库连接满了，db宕机等等，当再次启动迁移任务的时候，通常希望从上一次失败的地方进行断点续传，这就对记录断点位置和处理断点的方式提出了一定的要求。本文中主要介绍如何支持mongodb的断点续传。由于本人对mongo也是小白，初次接触mongo数据库，如果文中有布正确的地方，欢迎大家指正。

2. 基础知识点

    Mongo中表称之为集合（collection）,集中的一条记录称之为文档（document）,一个文档中可以有多种数据类型（BOSN）,其中文档是以key-value的形式存存储。故mongo的存储形式非常的灵活，在mongo也提供非常丰富的查询方式和表达式。在实际场景中，mongodb通常非常大量的数据和信息，因此对于mongo的扩容和迁移造成了一定的困难。尤其是在进行全量迁移的过程中，通常遇到一些非常棘手的问题，比如说如何对mongo的分片，并发迁移等等。本文主要针对mongo的分片和断点续传做一个详细的研究和提出一个可行的方案。

   在mongo迁移的过程，最原始的做法是利用一个查询db.collections.find()，把一个collection放在一个查询里面，然后通过流式的方式逐渐的查出数据，然后写入到目标库中。由于mongo本身就具备高效的查询效率，因此在使用过程中，对于几千万、几亿条数据的单个集合，如果不存在网络的问题的，速度会非常的快，通常能达到3wTPS/s的速度。但是如果遇到几十亿、上百亿、甚至更大的集合就会遇到一个很严重的问题，迁移到一半的时候，网络中断了，查询超时等种种原因，导致这个查询返回失败。那这个时候，我们就得重新开始迁移，没法断点续传，因为我们查询的顺序是mongo最原始的写入顺序，如果中间发生delete、update、insert等操作，那么就会丢失一部分数据。同时，这么大体量的数据放在一个分片里面，迁移的时间也会非常的漫长，那么对于后面的增量数据来说，可能就是个灾难。在这里我们经过研究，提出一个可行性的方案，支持mongodb的断点续传功能。

2.1   mongo的主键字段_id特点

      mongodb数据库不像mysql、oracle等数据库，拥有表结构，字段、主键等约束信息。Mongodb的文档是灵活的，你可以无限制的添加key-value键值对，每个value的类型你也可以随意定义。因此在同一个key-value中，可以会存在多种多类型，这就导致了分片出现的困难。Mongo虽然没有主键的概念，但是拥有天然的主键字段_id,每插入一条document的时候，mongodb会自动添加一个字段_id, 这个字段全局是唯一的，因此可以当做主键来使用。该字段默认的类型的是ObjectId类型。但是在写入数据的时候，如果不指明_id字段，会默认是objectId，如果自己指定了这个值，则可以是任意类型，可以是int，long，doubleÿ