从MongoDB导入数据到HDFS方法1

从MongoDB导入数据到HDFS

本节将使用MongoInputFormat类加载MongoDB中的数据导入HDFS中。

准备工作

使用Mongo Hadoop适配器最简单的方法是从GitHub上克隆Mongo-Hadoop工程,并且将该工程编译到一个特定的Hadoop版本。克隆该工程需要安装一个Git客户端。

本节假定你使用的Hadoop版本是CDH3。

Git客户端官方的下载地址是:http://git-scm.com/downloads

在Windows操作系统上可以通过http://windows.github.com/访问GitHub。

在Mac操作系统上可以通过http://mac.github.com/访问GitHub。

可以通过https://github.com/mongodb/mongo-hadoop获取到Mongo Hadoop适配器。该工程需要编译在特定的Hadoop版本上。编译完的JAR文件需要复制到Hadoop集群每个节点的$HADOOP_HOME/lib目录下。

Mongo Java驱动包也需要安装到Hadoop集群每个节点的$HADOOP_HOME/lib目录下。该驱动包可从https://github.com/mongodb/mongo-java-driver/downloads下载。

操作步骤

完成下面步骤实现将MongoDB中的数据复制到HDFS中。 通过下面的命令实现克隆mongo-hadoop工程:


 
  1. git clone https://github.com/mongodb/mongo-hadoop.git  

切换到稳定发布的1.0分支版本:


 
  1. git checkout release-1.0  

必须保持mongo-hadoop与Hadoop的版本一致。使用文本编辑器打开mongo- hadoop克隆目录下的build.sbt文件,修改下面这行:


 
  1. hadoopRelease in ThisBuild :"default" 

修改为:


 
  1. hadoopRelease in ThisBuild :"cdh3"  

编译mongo-hadoop:


 
  1. ./sbt package. 

这将会在core/target文件夹下生成一个名为mongo-hadoop-core_cdh3u3-1.0.0.jar的JAR文件。 从https://github.com/mongodb/mongo-java-driver/downloads下载MongoDB 2.8.0版本的Java驱动包。

复制mongo-hadoop和MongoDB Java驱动包到Hadoop集群每个节点的$HADOOP_ HOME/lib:


 
  1. cp mongo-hadoop-core_cdh3u3-1.0.0.jar mongo-2.8.0.jar $HADOOP_HOME/lib 

编写MapReduce读取MongoDB数据库中的数据并写入HDFS中:


 
  1. import java.io.*;  
  2. import org.apache.commons.logging.*;  
  3. import org.apache.hadoop.conf.*;  
  4. import org.apache.hadoop.fs.Path;  
  5. import org.apache.hadoop.io.*;  
  6. import org.apache.hadoop.mapreduce.lib.output.*;  
  7. import org.apache.hadoop.mapreduce.*;  
  8. import org.bson.*;  
  9. import com.mongodb.hadoop.*;  
  10. import com.mongodb.hadoop.util.*;  
  11. public class ImportWeblogsFromMongo {  
  12. private static final Log log = LogFactory.  
  13. getLog(ImportWeblogsFrom Mongo.class);  
  14. public static class ReadWeblogsFromMongo extends Mapper<Object, BSONObject, Text, Text>{  
  15. public void map(Object key, BSONObject value, Context context) throws IOException, InterruptedException{  
  16. System.out.println("Key: " + key);  
  17. System.out.println("Value: " + value);  
  18. String md5 = value.get("md5").toString();  
  19. String url = value.get("url").toString();  
  20. String date = value.get("date").toString();  
  21. String time = value.get("time").toString();  
  22. String ip = value.get("ip").toString();  
  23. String output = "\t" + url + "\t" + date + "\t" +  
  24. time + "\t" + ip;  
  25. context.write( new Text(md5), new Text(output));  
  26. }  
  27. }  
  28. public static void main(String[] args) throws Exception{  
  29. final Configuration conf = new Configuration();  
  30. MongoConfigUtil.setInputURI(conf, "mongodb://<HOST>:<PORT>/test.weblogs");  
  31. MongoConfigUtil.setCreateInputSplits(conf, false);  
  32. System.out.println("Configuration: " + conf);  
  33. final Job job = new Job(conf, "Mongo Import");  
  34. Path out = new Path("/data/weblogs/mongo_import");  
  35. FileOutputFormat.setOutputPath(job, out);  
  36. job.setJarByClass(ImportWeblogsFromMongo.class);  
  37. job.setMapperClass(ReadWeblogsFromMongo.class);  
  38. job.setOutputKeyClass(Text.class);  
  39. job.setOutputValueClass(Text.class);  
  40. job.setInputFormatClass(MongoInputFormat.class);  
  41. job.setOutputFormatClass(TextOutputFormat.class);  
  42. job.setNumReduceTasks(0);  
  43. System.exit(job.waitForCompletion(true) ? 0 : 1 );  
  44. }  

这个只有map的作业用到了Mongo Hadoop适配器提供的几个类。从HDFS读入的数据会被转换成一个BSONObject对象。该类描述的是一个二进制的JSON值。MongoDB使用这些BSONObject对象来有效地序列化、传输和存储数据。

Mongo Hadoop适配器还提供了一个方便的工具类MongoConfigUtil,使得可以把MongoDB当成是一个文件系统来访问。 导出为一个可运行的JAR文件,并运行该作业:

hadoop jar ImportWeblogsFromMongo.jar 验证weblogs数据是否已经导入HDFS中:


 
  1. hadoop fs -ls /data/weblogs/mongo_import 

工作原理

Mongo Hadoop适配器提供了一种新的兼容Hadoop的文件系统实现,包括MongoInput Format和MongoOutputFormat。这些抽象实现使得访问MongoDB和访问任何兼容Hadoop的文件系统一样。

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页