MongoDB数据接入实践

把数据导入数据平台是挖掘数据价值的第一步，如果做不好，数据分析将收到很大影响。所以，快速、高质量、稳定的将数据从业务系统接入到数据平台是至关重要的一环。

数据平台最常见的一个数据源是关系型的数据库，然而随着软件技术的发展，越来越多的业务系统基于非关系型数据库开发，所以，非关系型数据库的数据接入时数据平台必备的能力之一。

我们的数据仓库基于Hive构建，Hive的设计可以很好的兼容关系型数据库，如果数据源是关系型数据库，数据接入会相对容易。如何从非关系型数据库中接入数据呢？这里面有没有什么经验值得分享呢？

我们项目最近就碰到这种情况，需要接入一个业务数据库的数据，这些数据存储在MongoDB中。本文将就非关系型数据库接入数据平台分享一些我们实践中的一些故事和经验。

MongoDB的特点

先了解一下MongoDB的特点。MongoDB是一个流行的文档型数据库，内部的一条数据也称为一个文档。MongoDB是NoSQL数据库的一个典型代表，与关系型数据库相比，有如下特点：

• 支持嵌套类型的字段，比如数组类型字段、字典类型字段，其中字典下又可以嵌套其他字典或数组；
• 非常容易的添加新字段，添加字段时，如果旧数据只需要有一个默认值，则无需数据迁移，在程序中设置默认值即可；
• 可自动生成带排序特性的ID；
• 通过对ID进行hash，可以很容易的支持分布式扩展；
• 多文档、多表间的事务一致性不容易保证。

从上面的分析可以看出，作为NoSQL数据库的代表，MongoDB在易用性上有不错的优势，它支持更广泛的数据结构，扩展起来非常方便。这些大概是它得以流行的原因。

使用Spark读取MongoDB数据

如何将MongoDB的数据接入Hive呢？经过上面的分析可知，我们首先要解决的问题就是数据在Hive中要以什么样的结构存储的问题。

查阅Hive的文档可以知道，Hive其实也可以支持嵌套的数据结构。Hive的某一个字段可以是数组类型或Map类型，Map下也