hadoop源码远程debug

1、$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件的最后添加你想debug的进程


#远程调试namenode

export HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"

#远程调试datanode
export HADOOP_DATANODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y"

#远程调试RM
export YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"

#远程调试NM

export YARN_NODEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"

JVM本身就支持远程调试，Eclipse也支持JDWP，只需要在各模块的JVM启动时加载以下参数：


dt_socket表示使用套接字传输。
address=8000
JVM在8000端口上监听请求，这个设定为一个不冲突的端口即可。
server=y
y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
suspend=y
y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。

2、编译hadoop的源代码，在eclipse里面启动，你要debug的服务，如（NameNode,DataNode,ResourceManager,NodeManager）

这个eclipse作为你的代码的服务端

3、在启动一个eclipse，里面运行一个wordcount程序。这个eclipse作为你代码的客户端

当执行到服务端时，你会发现，服务端打断点的地方那个能捕获客户端提交的job。服务端执行玩以后，程序又能回到客户端