JAVA操作SQOOP对象

JAVA操作SQOOP对象

Posted on  2017-06-06 16:57  J'KYO 阅读( 203) 评论( 0)  编辑  收藏

Windows下使用Eclipse工具操作Sqoop1.4.6对象

Sqoop是用来在关系型数据库与Hadoop之间进行数据的导入导出，Windows下使用Eclipse工具操作时，需要先搭建好Hadoop的开发环境

1. 参照Java操作HDFS对象的pom.xml配置，添加配置

   <dependency>
       <groupId>org.apache.sqoop</groupId> <artifactId>sqoop</artifactId> <version>1.4.6</version> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.36</version> </dependency> 

   使用MySQL进行数据和Hadoop之间的导入导出操作，需要MySQL的驱动包。sqoop-1.4.6.jar包在maven里下载不下来，将sqoop的安装目录下$SQOOP_HOME下的sqoop-1.4.6.jar包拷贝到maven仓库对应的sqoop的目录下即可。

2. Windows下配置Sqoop的环境变量 
   Windows下操作Sqoop时需要使用到Sqoop下的包，需要配置环境变量。 
   将下载的sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz解压到本机目录下，配置Sqoop的环境变量：

   SQOOP_HOME=F:\data\sqoop-1.4.6.bin__hadoop-2.0.4-alpha
   PATH=PATH;%SQOOP_HOME%\bin; 

3. 检查是否配置成功 
   sqoop version 
    
   警告不用管，Windows下不需配置

4. Java操作Sqoop对象 
   Windows本机下MySQL服务要先启动

   • 4.1 将MySQL数据导入到HDFS

     import org.apache.hadoop.conf.Configuration;
     import org.apache.sqoop.Sqoop;
     import org.apache.sqoop.tool.SqoopTool;
     import org.apache.sqoop.util.OptionsFileUtil;
     
     public class SqoopTest { private static int importDataFromMysql() throws Exception { String[] args = new String[] { "--connect","jdbc:mysql://192.168.1.97:3306/mydb", "--driver","com.mysql.jdbc.Driver", "-username","root", "-password","root", "--table","user", "-m","1", "--target-dir","java_import_user" }; String[] expandArguments = OptionsFileUtil.expandArguments(args); SqoopTool tool = SqoopTool.getTool("import"); Configuration conf = new Configuration(); conf.set("fs.default.name", "hdfs://192.168.1.200:9000");//设置HDFS服务地址 Configuration loadPlugins = SqoopTool.loadPlugins(conf); Sqoop sqoop = new Sqoop((com.cloudera.sqoop.tool.SqoopTool) tool, loadPlugins); return Sqoop.runSqoop(sqoop, expandArguments); } public static void main(String[] args) throws Exception { importDataFromMysql(); } } 

     可以在HDFS上查看生成的文件 
      
     发现在HDFS下生成了目录/user/cyyun/java_import_user，程序中--target-dir没有指定具体路径，本机Windows的用户名是cyyun，在Windows上使用程序操作时会在/user/下生成一个Windows用户名的目录 
     查看结果：

     hadoop fs -cat /user/cyyun/java_import_user/part-m-00000
     hadoop fs -cat /user/cyyun/java_import_user/part-m-00001 

     

     将程序中--target-dir指定为/user/root/java_import_user，运行查看结果：

     hadoop fs -cat /user/root/java_import_user/part-m-00000 

     

本文参考： 
http://blog.csdn.net/guzicheng/article/details/41519947