生产环境中,如何对 Hadoop 集群进行 Benchmark Test?如何进行服务所需的机器选型?如何快速对比出不同集群的性能? 本文将通过 Hadoop 自带的 Benchmark 测试程序:TestDFSIO 和 TeraSort,简单介绍如何进行 Hadoop 的读写 & 计算性能的压测。 |
(本文使用 2.6.0 的 hadoop 版本进行测试,基准测试被打包在测试程序 JAR 文件中,通过无参调用 bin/hadoop jar ./share/hadoop/mapreduce/xxx.jar 可以得到其列表 )
使用 TestDFSIO进行集群的 I/O 性能测试处
TestDFSIO :
org.apache.hadoop.fs.TestDFSIO
TestDFSIO 程序原理:
使用多个 Map Task 模拟多路的并发读写。通过自己的 Mapper class 用来读写数据,生成统计信息;通过自己的 Reduce Class 来收集并汇总各个 Map Task 的统计信息,主要涉及到三个文件: AccumulatingReducer.java, IOMapperBase.java, TestDFSIO.java。
TestDFSIO 大致运行过程:
-
根据 Map Task 的数量将相应个数的 Control 控制文件写入 HDFS,这些控制文件仅包含一行内容:<数据文件名,数据文件大小> ;
-
启动 MapReduceJob,IOMapperBase Class 中的 Map 方法将 Control 文件作为输入文件,读取内容,将数据文件名和大小作为参数传递给自定义的 doIO 函数,进行实际的数据读写工作。而后将数据大小和 doIO 执行的时间传递给自定义的 collectStatus 函数,进行统计数据的输出工作 ;
-
doIO 的实现:TestDFSIO 重载并实现 doIO 函数,将指定大小的数据写入 HDFS 文件系统;
-
collectStatus 的实现:TestDFSIO 重载并实现 collectStatus 函数,将任务数量,以及数据大小,完成时间等相关数据作为 Map Class 的结果输出;
-
统计数据用不同的前缀标识,例如 l: (stand for long), s: (stand for string) etc;
-
执行唯一的一个 Reduce 任务,收集各个 Map Class 的统计数据,使用 AccumulatingReducer 进行汇总统计;
-
最后当 MapReduceJob 完成以后,调用 analyzeResult 函数读取最终的统计数据并输出到控制台和本地的 Log 文件中;
那么 MR 任务测试集群读写性能是否会因为数据传输影响到结果判断呢?
可以看整个过程中,实际通过 MR 框架进行读写 Shuffle 的只是 Control 文件,数据量非常小,所以 MR 框架本身的数据传输对测试的影响很小,可以忽略不计,测试结果基本是取决于 HDFS 的读写性能的。
了解到原理后,我们将运行 TestDFSIO 进行测试
测试集群版本:hadoop-2.6.0-mdh3.11
测试集群的机器情况:5 个 slave(dn/nm) 节点,每个节点机器为 32 核,128g 内存,12*4THdd 磁盘的物理机。
测试数据:5 个文件,每个文件大小为 1TB。
环境要求:集群保证完全空闲,无其他干扰任务。
1. 写测试:
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-mdh3.11-jre8-SNAPSHOT.jar TestDFSIO -write -nrFiles 5 -size 1TB
# 查看测试结果
cat TestDFSIO_results.log
----- TestDFSIO ----- : write
Date & time: Mon Jun 04 16:44:25 CST 2018
Number of files: 5
Total MBytes processed: 5242880.0
Throughput mb/sec: 213.10459447844454
Average IO rate mb/sec: 213.11135864257812
IO rate std deviation: 1.1965074234796487
Test exec time sec: 4972.91
2. 读测试:
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-mdh3.11-jre8-SNAPSHOT.jar TestDFSIO -read -nrFiles 5 -size 1TB
# 查看测试结果
cat TestDFSIO_results.log
----- TestDFSIO ----- : read
Date & time: Mon Jun 04 18:48:48 CST 2018
Number of files: 5
Total MBytes processed: 5242880.0
Throughput mb/sec: 164.327389903222
Average IO rate mb/sec: 164.33087158203125
IO rate std deviation: 0.7560928117328837
Test exec time sec: 6436.246
以上测试数据解释:
Throughput mb/sec 和 Average IO rate mb/sec 是两个最重要的性能衡量指标:Throughput mb/sec 衡量每个 map task 的平均吞吐量,Average IO rate mb/sec 衡量每个文件的平均 IO 速度。
IO rate std deviation:标准差,高标准差表示数据散布在一个大的值域中,这可能意味着群集中某个节点存在性能相关的问题,这可能和硬件或软件有关。
使用 TeraSort进行集群的计算性能测试
TeraSort: org.apache.hadoop.examples.terasort.TeraSort
TeraSort 程序原理:
对输入文件按 Key 进行全局排序。TeraSort 针对的是大批量的数据,在实现过程中为了保证 Reduce 阶段各个 Reduce Job 的负载平衡,以保证全局运算的速度,TeraSort 对数据进行了预采样分析。
TeraSort 大致运行过程:
从 job 框架上看,为了保证 Reduce 阶段的负载平衡,使用 jobConf.setPartitionerClass 自定义了 Partitioner Class 用来对数据进行分区,在 map 和 reduce 阶段对数据不做额外处理。Job 流程如下:
-
对数据进行分段采样:例如将输入文件最多分割为 10 段,每段读取最多 100,000 行数据作为样本,统计各个 Key 值出现的频率并对 Key 值使用内建的 QuickSort 进行快速排序(这一步是 JobClient 在单个节点上执行的,采样的运算量不能太大);
-
将样本统计结果中位于样本统计平均分段处的 Key 值(例如 n/10 处 n=[1..10])做为分区的依据以 DistributedCache 的方式写入文件,这样在 MapReduce 阶段的各个节点都能够 Access 这个文件。如果全局数据的 Key 值分布与样本类似的话,这也就代表了全局数据的平均分区的位置;
-
在 MapReduceJob 执行过程中,自定义的 Partitioner 会读取这个样本统计文件,根据分区边界 Key 值创建一个两级的索引树用来快速定位特定 Key 值对应的分区(这个两级索引树是根据 TeraSort 规定的输入数据的特点定制的,对普通数据不一定具有普遍适用性,比如 Hadoop 内置的 TotalPartitioner 就采用了更通用的二分查找法来定位分区);
总结:
TeraSort 使用了 Hadoop 默认的 IdentityMapper 和 IdentityReducer。IdentityMapper 和 IdentityReducer 对它们的输入不做任何处理,将输入 k,v 直接输出;也就是说是完全是为了走框架的流程而空跑。这正是 Hadoop 的 TeraSort 的巧妙所在,它没有为排序而实现自己的 mapper 和 reducer,而是完全利用 Hadoop 的 Map Reduce 框架内的机制实现了排序。 而也正因为如此,我们可以在集群上利用 TeraSort 来测试 Hadoop。
了解到原理后,我们将运行 TeraSort 进行测试
测试集群版本:hadoop-2.6.0-mdh3.11
测试集群的机器情况:
5 个 slave(dn/nm) 节点,每个节点机器为 32 核,128g 内存,12*4THdd 磁盘的物理机。
测试数据:
hadoop 自带的生成数据工具 TeraGen,输入文件是由一行行 100 字节的记录组成,每行记录包括一个 10 字节的 Key;以 Key 来对记录排序。
环境要求:
集群保证完全空闲,无其他干扰任务。
1.测试数据生成
按照 SortBenchmark 要求的输入数据规则(需要 gensort 工具生成输入数据):输入文件是由一行行 100 字节的记录组成,每行记录包括一个 10 字节的 Key;以 Key 来对记录排序。(具体可参考 http://www.ordinal.com/gensort.html)
Hadoop 的 TeraSort 实现的生成数据工具 TeraGen,算法与 gensort 一致,我们将使用 TeraGen 生成测试数据:
(测试数据量为 1T,由于 100 字节一行,则设定行数为 10000000000)
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-mdh3.11-jre8-SNAPSHOT.jar teragen 10000000000 /terasort/input1TB
File System Counters
FILE: Number of bytes read=0
FILE: Number of bytes written=248548
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=173
HDFS: Number of bytes written=1000000000000
HDFS: Number of read operations=8
HDFS: Number of large read operations=0
HDFS: Number of write operations=4
Job Counters
Launched map tasks=2
Other local map tasks=2
Total time spent by all maps in occupied slots (ms)=32792925
Total time spent by all reduces in occupied slots (ms)=0
Total time spent by all map tasks (ms)=10930975
Total vcore-seconds taken by all map tasks=10930975
Total megabyte-seconds taken by all map tasks=8394988800
Map-Reduce Framework
Map input records=10000000000
Map output records=10000000000
Input split bytes=173
Spilled Records=0
Failed Shuffles=0
Merged Map outputs=0
GC time elapsed (ms)=193112
CPU time spent (ms)=14325820
Physical memory (bytes) snapshot=916639744
Virtual memory (bytes) snapshot=12308406272
Total committed heap usage (bytes)=712507392
HeapUsageGroup
HeapUsageCounter=30947608
org.apache.hadoop.examples.terasort.TeraGen$Counters
CHECKSUM=3028416809717741100
File Input Format Counters
Bytes Read=0
File Output Format Counters
Bytes Written=1000000000000
# 查看生成的数据
bin/hadoop dfs -ls /terasort/input1TB
Found 3 items
-rw-r--r-- 3 hdfs_admin supergroup 0 2018-06-05 11:49 /terasort/input1TB/_SUCCESS
-rw-r--r-- 3 hdfs_admin supergroup 500000000000 2018-06-05 11:45 /terasort/input1TB/part-m-00000
-rw-r--r-- 3 hdfs_admin supergroup 500000000000 2018-06-05 11:49 /terasort/input1TB/part-m-00001
2.运行 TeraSort 测试程序
测试数据生成好后,我们将 运行 TeraSort 测试程序:
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-mdh3.11-jre8-SNAPSHOT.jar terasort /terasort/input1TB /terasort/output1TB
18/06/06 03:50:08 INFO mapreduce.Job: Counters: 52
File System Counters
FILE: Number of bytes read=5189229479006
FILE: Number of bytes written=6238290771828
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=1000000856980
HDFS: Number of bytes written=1000000000000
HDFS: Number of read operations=22359
HDFS: Number of large read operations=0
HDFS: Number of write operations=2
Job Counters
Killed map tasks=1
Launched map tasks=7453
Launched reduce tasks=1
Data-local map tasks=4424
Rack-local map tasks=3029
Total time spent by all maps in occupied slots (ms)=356530188
Total time spent by all reduces in occupied slots (ms)=224698152
Total time spent by all map tasks (ms)=118843396
Total time spent by all reduce tasks (ms)=56174538
Total vcore-seconds taken by all map tasks=118843396
Total vcore-seconds taken by all reduce tasks=56174538
Total megabyte-seconds taken by all map tasks=91271728128
Total megabyte-seconds taken by all reduce tasks=57522726912
Map-Reduce Framework
Map input records=10000000000
Map output records=10000000000
Map output bytes=1020000000000
Map output materialized bytes=1040000044712
Input split bytes=856980
Combine input records=0
Combine output records=0
Reduce input groups=10000000000
Reduce shuffle bytes=1040000044712
Reduce input records=10000000000
Reduce output records=10000000000
Spilled Records=59896435961
Shuffled Maps =7452
Failed Shuffles=0
Merged Map outputs=7452
GC time elapsed (ms)=14193819
CPU time spent (ms)=179564830
Physical memory (bytes) snapshot=3104994074624
Virtual memory (bytes) snapshot=46362045841408
Total committed heap usage (bytes)=2586227769344
HeapUsageGroup
HeapUsageCounter=896956972576
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=1000000000000
File Output Format Counters
Bytes Written=1000000000000
18/06/06 03:50:08 INFO terasort.TeraSort: done
# 查看输出
bin/hadoop dfs -ls /terasort/output1TB
Found 3 items
-rw-r--r-- 1 hdfs_admin supergroup 0 2018-06-06 03:50 /terasort/output1TB/_SUCCESS
-rw-r--r-- 10 hdfs_admin supergroup 0 2018-06-05 11:52 /terasort/output1TB/_partition.lst
-rw-r--r-- 1 hdfs_admin supergroup 1000000000000 2018-06-06 03:50 /terasort/output1TB/part-r-00000
通过 Job Counters 等指标我们可以看出整个 TeraSort 的运行情况,可以通过这些数据对比出当前框架的计算性能。
3.结果的校验:TeraValidate
TeraSort 自带校验程序 TeraValidate,用来检验排序输出结果是否是有序的:
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-mdh3.11-jre8-SNAPSHOT.jar teravalidate /terasort/output1TB /terasort/validate1TB
如果有错误,log 记录会放在输出目录里。
总结
Hadoop 自带的 Benchmark 测试程序看起来微不足道,如果我们能够多多挖掘,便可发挥更大的价值;既可以用来对集群上线前的测试校验,又可以用来进行集群调优测试,通过举一反三可以用到更多地地方。
参考文献
《Hadoop 权威指南》
Benchmarking and Stress Testing an Hadoop Cluster with TeraSort, TestDFSIO & Co.