使用vtune分析hadoop

• 1.       使用 vtune 分析 tasktracker,jobtracker,datanode

1.1在 conf/hadoop-env.sh 中添加如下修改，这样在 vtune 的结果中能看到 jit 信息。

export AMPLXE_EXPERIMENTAL=1

1.2在 bin/hadoop 中，将如下语句进行替换。

exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"

 

替换如下，以分析 tasktracker 为例，分析其他进程，作相应的修改即可。

  if [ "$COMMAND" = "tasktracker" ] ; then
    exec "/home/chengtao/soft/intel/vtune_amplifier_xe_2011/bin64/amplxe-cl" -collect hotspots -r /home/chengtao/test_tasktracker "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
  else
    exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
  fi

这样修改的作用在于，让 vtune 启动相应的线程，能够收集数据。

 

1.3在 bin/hadoop-daemon.sh 中，将下面语句进行替换

echo $! > $pid

替换内容如下

  if [ "$command" = "tasktracker" ];then
      sleep 3
      ps aux | grep -v "vtune" | grep "TaskTracker" | awk '{if(NR==1)print $2}' > $pid
    else
        echo $! > $pid
  fi

这样修改的作用在于，将实际起来的 tasktracker id 写到 $pid 中，否则写入的是 vtune 的进程的 id ，在运行 bin/stop-all.sh 的时候， tasktracker 的进程是 stop 不掉的。 Sleep 3 是为了等 tasktracker 确实已经起来了。

 

• 2.       使用 vtune 分析任务线程TaskRunner

这里需要修改 hadoop 的代码，使得 taskrunner 启动的时候，是试用 vtune 起来的。代码的具体修改是在 mapred/org/apache/hadoop/mapred/TaskRunner.java 这个文件中。在vargs.add(jvm.toString()); 之前添加。

vargs.add("/home/hadoop/vtune/vtune_amplifier_xe_2011/bin64/amplxe-cl");
vargs.add("-collect");
vargs.add("hotspots");
vargs.add("-r");
vargs.add("/home/hadoop/" + taskid.toString());

这样就可以分析实际跑任务的线程了。会在 /home/hadoop 目录下出现较多的 taskid 目录，每个目录下对应着 taskid 这个线程的分析结果

 

• 3.      总结

通过上面的修改，可以使用 vtune 对 hadoop 进行不同层面的分析，对 hadop 的优化或许提供很好的思路。