Sqoop导入问题汇总

自己在使用Sqoop的过程中碰到许多问题，经过很长时间的查询与摸索，所以有了以下这些总结，为了自己以后方便查询，也为了其他人不再为相同的问题困扰，所以写了这篇文章。

1、生成sqoop import模板

sqoop 的import命令导入的时候可以指定模板（--jar-file 、--class-name），指定模板后就按模板格式导入，不再按默认方式生成模板，生成模板的命令是：

sqoop codegen --connect jdbc:oracle:thin:@//ip:port/dbname --username name --password pwd --table tablename --fields-terminated-by '\001'

这里使用 --fields-terminated-by指定了分隔符是 \001,如果未指定，也可以修改生成的java文件代码，修改位置为：

private static final DelimiterSet __inputDelimiters = new DelimiterSet( (char) 1, (char) 10, (char) 0, (char) 0, false);

  2、模板生成class文件并打包

通过codegen 命令生成的模板是一个java文件，获取java文件后可以修改间隔符、换行符等内容，并重新编译成class文件，打成jar包。生成class文件的时候需要用到hadoop的jar包和sqoop的jar包,hadoop 2.x.x之前使用的hadoop的jar包是hadoop-core.jar,但hadoop2.x.x之后没有这个jar包了，需要使用hadoop-common-2.x.x.jar 和hadoop-mapreduce-client-core-2.x.x.jar ，并且使用sqoop-1.4.6.jar， 通过javac命令就可以编译calss了。

3、导入hdfs和导入hive

导入hdfs直接使用import命令就可以，通过--fields-terminated-by '指定间隔符，如果直接导入hive，则需要增加--hive-import，并且在创建表的时候使用 row format delimited fields terminated by '\001' 指定hive表的间隔符，这样hive就可以正确的识别列了。