sqoop 小问题集锦

今天进行sqoop正式环境测试，结果碰上一大堆问题

1、测试库上运行好好的sqoop正式库上不可用。

查了下，测试库上使用的是2.0以上版本，正式库上则还是1.0.4版本。当年上线的时候两个还是一样的，后来测试库做了升级用于测试2.0的新特性。（补充下，2.0真心快啊）

去官网上下载，注意sqoop后面带的版本号。这边hadoop1.0.4就下载第三个sqoop包就可以了

 tag：2.0属于新一代hadoop架构，1.0还是老一代的，不过我记得1.0是从0.2基础上直接进化过来的，怎么sqoop还提供两个不同的版本下载。

2、配置文件的配置

这个版本的配置文件感觉好配很多了。

打开sqoop/bin/configure-sqoop文件，里面是一堆shell脚本。

基本上就是看看这个环境变量存在不，不存在就给它个默认值。我们这边只安装了hadoop和Hive，所以直接把hbase和zoo相关的目录注释掉。不过看了下代码，这个版本貌似没注释掉也只是报个警告，应该问题不大

 

运行时有个HCAT_HOME目录要配置。不知道这个啥用，随便配了个sqoop的根目录

还要把mysql的jar文件放到lib目录下以连接mysql。

貌似不用像测试库那样还得把jar文件传到hdfs里了（见前面某篇日志），测了下，可用了。