hadoop 2.4 的测试工具之name node benchmark 异常处理=> exceptions: 1000
简单测试name node只读的性能,命令摘录如下:
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.4.0.2.1.4.0-632-tests.jar nnbench -operation open_read ...
看其报告结果是跑了一圈map reduce过程,但却显示有异常,提示为:exceptions: 1000。
因为hadoop 2.4的是YARN框架,而且map和reduce的过程是在data node上的,通过YARN日志配置(yarn-site.xml)路径得知日志在:/hadoop/yarn/log目录里。
众所周知,应用程序的日志包括jobhistory日志和Container日志,jobhistory日志是应用程序运行日志,而Container日志是map和reduce的日志,根据规范是放在application_xxx目录和container_xxx_000001,container_xxx_000002,container_xxx_000003,….的目录下。每个目录下包含三个日志文件:stdout、stderr和syslog,这个和Hadoop 1.x一样。最终目录可能类似:
/hadoop/yarn/log/application_1410245613449_0002/container_1410245613449_0002_01_000003
最终的目录结构类似如下图:
然后再查看syslog,原来是文件没找到:
Exception recorded in op: OpenRead java.io.FileNotFoundException: File does not exist: /benchmarks/NNBench/data/file_dn.superv-3.com__0
用命令查了一下,果然没有!
打开NNBench.java源码看,原来读测试是需要先有文件的,文件名规范是这样的,注意文件后缀是从0开始的(注意,这个和参数numberOfFiles有很大关系):
baseDir和dataDirName变量的默认值是这么定义的:"/benchmarks/NNBench"和“data”,而name变量的值是取当前服务器的hostname,我这里显示的是服务器的域名名称:
OK,我们按照这个命名规范手动在HDFS上创建文件file_dn.superv-3.com__0
然后再测试,不报错了!