sqoop远程debug讲解

 

由于sqoop运行依赖Hadoop等组件，且会设置很多环境变量。这就导致想要在本地测试其功能非常繁琐，幸好可以借助Java的远程调试机制来做。可以先在测试Linux机器上面安装好hadoop/Hbase/zookeeper等，然后本地windows环境用eclipse导入同样的sqoop代码。

 

搭建sqoop的eclipse调试环境

下载sqoop的tar包解压，cd到sqoop根目录执行“ant eclipse”构建eclipse ANT工程，ant脚本就可以给我们生成eclipse的工程文件，我们只需要在eclipse中导入即可。

Sqoop服务器端设置：

打开bin\sqoop,最后一行，发现：exec${HADOOP_HOME}/bin/hadoop com.cloudera.sqoop.Sqoop "$@"，说明执行的hadoop脚本，要想进行远程调试，我们需要在hadoop脚本中调试参数，在部署了sqoop的机器上，修改hadoop 的脚本，注意是要修改hadoop的脚本，把远程调试打开

 

在bin/hadoop下新增一行HADOOP_DEBUG="-Xdebug-Xrunjdwp:transport=dt_socket,address=8214,server=y,suspend=y" （以这个准，图文不匹配）。这里的8214就是要远程连接的端口，要远程连接的IP就是sqoop这台机器的IP

然后把这个hadoop_debug 加入到最后一行 exec "$JAVA"$JAVA_HEAP_MAX $HADOOP_OPTS $CLASS"$@"

 

在eclipse配置远程调试：在关键代码上增加一个断点

 

这样配置好了之后，就可以运行sqoop 的命令了。只要一运行sqoop的命令，就会出现监听事件，8214端口就会处于监听状态。eclipse里在远程里进行“debug”，就可以远程debug了