在Eclipse中远程调试Hadoop

我部署了一个Hadoop集群，但是在运行过程中总是会遇到各式的问题，虽然可以通过加一些Log来查看出错信息，但总是不太直观，并且也比较繁琐。因此最好能远程单步调试Hadoop。
在Hadoop中，一般常用的模块有：JobTracker、NameNode、DataNode、TaskTracker、JobClient、JobShell、FsShell、MapReduce等。那如何使用Eclipse来远程调试Hadoop的各个模块？
调试方法
这些Hadoop模块都对应一个个JVM进程。对Hadoop的各个模块进行远程调试本质上就是远程调试JVM。

而JVM本身就支持远程调试，只需要在各模块的JVM启动时加载以下参数：
-Xdebug -Xrunjdwp:transport=dt_socket, address=8000,server=y,suspend=y
各参数的含义：
-Xdebug
启用调试特性
-Xrunjdwp
启用JDWP实现，包含若干子选项：
transport=dt_socket
JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8000
JVM在8000端口上监听请求，这个设定为一个不冲突的端口即可。
server=y
y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
suspend=y
y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。
suspend=y这个选项很重要。如果想调试FsShell这种在CLient端启动的命令，则必须设置suspend=y。否则调试还没有启动，FsShell命令就执行解决了。

调试举例
NameNode调试：

• 修改NameNode节点上的文件bin/hadoop，将
  

123	elif [ "$COMMAND" = "namenode"  ; thenCLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"

改为：

123	elif [ "$COMMAND" = "namenode"  ; thenCLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8000"

suspend等于y或n取决于是否需要调试其启动过程。

• 启动NameNode
• 在Eclipse中，在NameNode代码上设置断点用于调试，再点击右键，选择调试配置：
  

• 在对话框中选择远程Java应用程序，然后点击新建启动配置，如下图
  

• 然后输入配置的参数，如下图所示：
  

其中主机要填NameNode节点的地址，端口填刚配置的端口。

• 最后点击调试就可以开始调试了。
  

FS命令调试：

• bin/hadoop fs 命令是运行在Client端的（NameNode也可以作为Client），因此需要修改Client上的配置文件。
• 修改Client节点上的文件bin/hadoop，将
  

123	elif [ "$COMMAND" = "fs"  ; thenCLASS='org.apache.hadoop.fs.FsShell'HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"

改为：

123	elif [ "$COMMAND" = "fs"  ; thenCLASS='org.apache.hadoop.fs.FsShell'HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000"

• 必须设置suspend=y，否则还没开始调试，FsShell命令就执行结束了。
• 其他过程同NameNode调试，只是主机需要设置为Client的地址。
  

mapreduce调试：

• 如果想要调试Map 或Reduce Task，则修改bin/hadoop已经没用了，因为bin/hadoop中没有Map Task的启动参数。
• 此时需要修改Client（提交作业的Client，可以是JobTracker）中的配置文件：conf/hadoop-site.xml（不同版本的Hadoop文件名称不同，在社区版本hadoop-2.0之后叫做mapred-site.xml）。将
  

1234	<property>  <name>mapred.child.java.opts</name>  <value>-Xmx800m</value></property>

改为：

1234	<property>  <name>mapred.child.java.opts</name>  <value>-Xmx800m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000</value></property>

• 在一个TaskTracker上，只能启动一个Map Task或一个Reduce Task，否则启动时会有端口冲突。因此要修改所有TaskTracker上的conf/hadoop-site.xml中的配置项：
  

123456789

<property>  <name>mapred.tasktracker.map.tasks.maximum</name>  <value>1</value></property><property>  <name>mapred.tasktracker.reduce.tasks.maximum</name>  <value>0</value></property>

• 然后提交作业，再在Eclipse中启动远程调试，方法同上面一样。只是主机需要设置为TaskTracker的地址(如果有多个TaskTracker，则可能需要每个TaskTracker的地址都试一下，貌似不是所有的TaskTracker都同时进入调试状态)。