由于sqoop运行依赖hadoop等组件,且会设置很多环境变量。这就导致想要在本地测试其功能非常繁琐,幸好可以借助java的远程调试机制来做。可以先在测试linux机器上面安装好hadoop/hbase/zookeeper等,然后本地windows环境用eclipse导入同样的sqoop代码。
1、设置$SQOOP_HOME/conf(根据自身环境情况修改):
export HADOOP_COMMON_HOME=/home/cdh/hadoop-2.3.0-cdh5.1.0
export HBASE_HOME=/home/cdh/hbase-0.98.1-cdh5.1.0
2、修改$HADOOP_COMMON_HOME/bin/hadoop:
3、配置eclipse: