MapReduce性能优化_1. 性能测量

本文翻译于 《Hadoop in Practice》, 摘抄自： 大牛翻译系列

性能调优的基础主要依赖于系统的性能指标和实验数据。依据这些指标和数据，才能找到系统的性能瓶颈。性能指标和实验数据要通过一系列的工具和过程才能得到。

这部分里，将介绍Hadoop自带的工具和性能指标。还将捎带介绍性能监控工具。 

1 抽取作业统计数据[job statistics]的工具

这一章中介绍的很多技术都需要从Hadoop中抽取作业和任务的性能指标。有以下三种办法抽取这些统计数据：

1. 用JobTracker UI来查看作业和任务的计数器。
2. 用Hadoop CLI（命令行界面）来查看作业和任务计数器。此外，还可以从作业历史信息中获得其他性能指标。
3. 用本书提供的工具来从作业历史中抽取性能指标

后两种工具的优势在于，既可以看现状信息，也可以看历史信息。好了，现在就开始介绍作业历史信息，以及怎么用Hadoop CLI和本书的工具来从中抽取性能指标。

作业历史信息和CLI（命令行界面）

每个MapReduce都会生成作业统计数据文件。在文件中有作业和任务的统计信息。查看这些统计信息的最便捷的方法就是使用Hadoop CLI。把这些统计信息抽取到HDFS的output目录中的过程命令如下：

  
  

   
   
  
  
<span style="color:#ff0000;">$ hadoop job -history output
Hadoop job: job_201112081615_0181</span>
=====================================
Job tracker host name: localhost
Submitted At: 23-Dec-2011 08:55:22
Launched At: 23-Dec-2011 08:55:22 (0sec)
Finished At: 23-Dec-2011 08:55:37 (15sec)
Status: SUCCESS
Counters:
 
|Group Name |Counter name |Map Value |Reduce Value|Total |
-------------------------------------------------------------------
|FileSystem |FILE_BYTES_READ |0 |961,831 |961,831
|FileSystem |HDFS_BYTES_READ |696,068 |0 |696,068
|FileSystem |FILE_BYTES_WRITTEN |1,071,837 |1,071,519 |2,143,356
|FileSystem |HDFS_BYTES_WRITTEN |0 |784,221 |784,221
...
 
Analysis
=========
Time taken by best performing map task 2sec
Average time taken by map tasks: 2sec
Worse performing map tasks:
TaskId Timetaken
task_201112081615_0181_m_000001 2sec
...

上述输出信息只是这个命令得到的结果中的一小部分。如果要深入了解，还是亲自执行一下命令，看看全部的输出信息。在上述输出信息中，包含任务任务执行时间的平均值和最差值。通过这些信息，可以很快了解全体性能指标的大致状况。那么，作业的历史信息文件在哪呢？图6.1说明了它的位置：

Figure 6.1. The job history file location

作业历史信息文件的后缀名是 jar。尽管很迷惑人，但它实际上是文本文件，由JobHistory类整理而成。如果有兴趣，可以用JobHistory类来对这个jar文件作逆向工程，生成一个java形式的文件。这里可以只用Hadoop CLI来从HDFS ouput目录和NameNode log目录中抽取作业的统计信息。其实，本书提供的工具也可以完成这些工作。

 

2 监控

监控正在运行的MapReduce作业的CPU，内存，网络等各项性能指标无疑是重要的。了解这些指标可以避免硬件系统的部分闲置和过载。如果硬件系统过载了，那么由此而来的资源竞争，CPU上下文切换，内存页交换等就会浪费大量时间。如果硬件系统部分闲置了，那就是浪费资源。

要对系统的运行状态进行自动监控，然后才能够得到硬件系统的历史性能信息，并在特定的情况下发出警告信息。现在有很多这方面的工具：

• Linux内置的系统活动收集器和报告工具 : http://www.ibm.com/developerworks/aix/library/au-gnuplot/index.html（需要翻墙）.
• Nagios: http://ganglia.sourceforge.net/.
• Ganglia: Ganglia是监控集群的开源项目。它提供了富客户端和图表工具。并能够从Hadoop中获取统计信息。
  http://wiki.apache.org/hadoop/GangliaMetrics
  https://github.com/ganglia.

Figure 6.2. Ganglia screenshots showing CPU utilization for multiple hosts