hadoop学习(六)--------eclipse远程调试

上一节我们已经成功编译了hadoop源码，这样我们就可以根据需要在源代码里增加调试信息，跟踪hadoop的执行。这种方式需要对跟踪的对应模块代码进行修改，还要重新编译jar包，并替换share/hadoop目录下对应的jar包，然后重新启动要调试的hadoop服务才行，比较麻烦。所以我学习了一下如何用eclipse远程调试，这样就可以设置断点，十分方便。

1.关于JAVA远程调试的原理和设置，下面这篇文章讲解十分详细，可以先了解下：

http://www.ibm.com/developerworks/cn/opensource/os-eclipse-javadebug/

2.hadoop2.6.0版本主要是

sbin/start-dfs.sh

sbin/start-yarn.sh这两个脚本。

简单了解一下这两个脚本的工作,下面以start-dfs.sh为例:

下面只列出关键代码：

DEFAULT_LIBEXEC_DIR="$bin"/../libexec
HADOOP_LIBEXEC_DIR=${HADOOP_LIBEXEC_DIR:-$DEFAULT_LIBEXEC_DIR}
. $HADOOP_LIBEXEC_DIR/hdfs-config.sh        //执行libexec/hdfs-config.sh脚本设置CLASSPATH,JAVA_OPTS等变量


#---------------------------------------------------------
# namenodes

NAMENODES=$($HADOOP_PREFIX/bin/hdfs getconf -namenodes)  //获取hdfs namenodes相关配置

echo "Starting namenodes on [$NAMENODES]"

"$HADOOP_PREFIX/sbin/hadoop-daemons.sh" \
  --config "$HADOOP_CONF_DIR" \
  --hostnames "$NAMENODES" \
  --script "$bin/hdfs" start namenode $nameStartOpt         //启动namenode

#---------------------------------------------------------
# datanodes (using default slaves file)

if [ -n "$HADOOP_SECURE_DN_USER" ]; then
  echo \
    "Attempting to start secure cluster, skipping datanodes. " \
    "Run start-secure-dns.sh as root to complete startup."
else
  "$HADOOP_PREFIX/sbin/hadoop-daemons.sh" \
    --config "$HADOOP_CONF_DIR" \
    --script "$bin/hdfs" start datanode $dataStartOpt               //启动datanode
fi

# eof

主要列出了其中的4个部分，我们现在以/bin/hdfs getconf -namenodes这部分代码为例，进行调试跟踪,这部分代码主要是从hdfs-site.xml配置文件里读取我们的配置。

3.再简单了解一下bin/hdfs代码，可以看到这个代码是根据不同的COMMAND参数执行不同的JAR包完成不同的工作。我们现在执行的COMMAND=getconf,所以只关注这部分的代码:

elif [ "$COMMAND" = "getconf" ] ; then
  CLASS=org.apache.hadoop.hdfs.tools.GetConf
  HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8103"

红色的部分为为了调试所加的内容，suspend=y表示等待调试器(这里是eclipse)连接，这样我们才能在启动时跟踪代码.其它部分的含义，可以参考:

http://www.ibm.com/developerworks/cn/opensource/os-eclipse-javadebug/

这样我们就可以执行sbin/start-dfs.sh脚本，脚本会在执行到NAMENODES=$($HADOOP_PREFIX/bin/hdfs getconf -namenodes) 这里是停止，等待eclipse调试器连接后继续调试方式运行，所以下面需要启动eclipse调试器连接上来。

4.eclipse端设置

Run->Debug Configurations->Remote Java Application里新建一项远程调试项:

Name:随便命名，因为跟踪的是hdfs-tools-getconf所以命名这个，便于区分

Project:选择跟踪的模块即可

Host,Port为我们在bin/hdfs里启动的调试地址和端口。

配置完成后，我们来设置一个断点：

这里我们跟踪GetConf.java里的

HdfsConfiguration.init();

设置好断点后，我们执行Debug,然后断点就断住了，然后我们就可以跟踪调试了。

如果想要调试其它命令或模块，原理相同，只要修改脚本对要调试跟踪的Jar包设置HADOOP_OPTS即可。

  HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8103"