Hadoop集群性能测试

前言

测试方法

临时的一个小测试，主要目的是测试一下集群的IO。现从两方面进行测试：系统级别和集群级别。

集群环境

• 10台物理机，64G内存，2T硬盘。
• cdh5.x

工具

测试过程中使用到的工具。

• dd
• hdparm
• iperf
• hadoop benchmark

系统级别测试

通过对集群节点测试，块写40G耗时49秒，磁盘写IO 873MB/s，读IO 1022.49MB/s，点对点网络IO大概110MB/s

磁盘IO

磁盘写：

time dd if=/dev/zero of=/data/test.txt bs=1M count=40960
40960+0 records in
40960+0 records out
42949672960 bytes (43 GB) copied, 49.1891 s, 873 MB/s

real    0m49.201s
user    0m0.012s
sys    0m44.990s

磁盘读：