注:这里用Hive泛指数据仓库,数据还是存储在HDFS里。
想要从MongoDB往Hive导数据主要有两种方式
1. Hive直接连接MongoDB
Hive连接MongoDB这篇讲了怎么连接。
使用这种方式的好处在于,直接创建一个Hive的表,用于映射MongoDB里的数据。也就是数据仍然还在MongoDB内,创建映射表的时间非常短。
但是坏处也同样在这,如果要把数据ETL到Hive表,这种方式必须执行map reduce,一直从MongoDB里面取数据,连接的稳定性受到网络环境影响。
在用这种方式导数据的时候遇到过两个坑。
- 执行map reduce耗时太长,这里一部分是网络原因,还有一部分是起了太多的map 任务,也就是将任务切分的过细,每个map只处理很少的任务,耗费太多资源,坑在于设置map数的参数不同于hive默认的参数。要在执行HQL前输入
set mongo.input.split_size=n
,这个n就是将mongo collection切分成若干份,每份的大小,单位是MB。默认的设置是8,将它改成128以后,mapper的数量明显减少了,总的执行时间也提高了。还有一种设置方法, 是修改hadoop的yarn-site.xml
配置文件,添加