大数据学习连载07篇:Hadoop环境搭建完成后的压力测试

实际生产环境当中,hadoop的环境搭建完成之后,第一件事情就是进行压力测试,测试Hadoop集群的读取和写入速度,测试网络带宽是否足够等一些基准测试。

一、测试写入速度

向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存放到/benchmarks/TestDFSIO中

1.启动YARN集群

start-yarn.sh

 

2.启动写入基准测试

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar  TestDFSIO -write -nrFiles 10  -fileSize 10MB

我们可以看到Hadoop启动了一个MapReduce作业来运行benchmark测试。

 

等待约2-5分钟,MapReduce程序运行成功后,就可以查看测试结果了。

3.查看写入速度结果

2020-09-25 09:56:21,431 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write

2020-09-25 09:56:21,431 INFO fs.TestDFSIO:             Date & time: Fri Sep 25 09:56:21 CST 2020

2020-09-25 09:56:21,431 INFO fs.TestDFSIO:         Number of files: 10

2020-09-25 09:56:21,431 INFO fs.TestDFSIO:  Total MBytes processed: 100

2020-09-25 09:56:21,431 INFO fs.TestDFSIO:       Throughput mb/sec: 0.48

2020-09-25 09:56:21,431 INFO fs.TestDFSIO:  Average IO rate mb/sec: 2.82

2020-09-25 09:56:21,431 INFO fs.TestDFSIO:   IO rate std deviation: 3.24

2020-09-25 09:56:21,431 INFO fs.TestDFSIO:      Test exec time sec: 102.39

2020-09-25 09:56:21,431 INFO fs.TestDFSIO:

我们看到目前在虚拟机上的IO吞吐量约为:0.48MB/s

二、测试读取速度

测试hdfs的读取文件性能,在HDFS文件系统中读入10个文件,每个文件10M

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar  TestDFSIO -read -nrFiles 10 -fileSize 10MB

同样,Hadoop也会启动一个MapReduce程序来进行测试。

查看读取果

2020-09-25 10:06:14,023 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read

2020-09-25 10:06:14,024 INFO fs.TestDFSIO:             Date & time: Fri Sep 25 10:06:14 CST 2020

2020-09-25 10:06:14,024 INFO fs.TestDFSIO:         Number of files: 10

2020-09-25 10:06:14,024 INFO fs.TestDFSIO:  Total MBytes processed: 100

2020-09-25 10:06:14,024 INFO fs.TestDFSIO:       Throughput mb/sec: 118.62

2020-09-25 10:06:14,024 INFO fs.TestDFSIO:  Average IO rate mb/sec: 162.19

2020-09-25 10:06:14,024 INFO fs.TestDFSIO:   IO rate std deviation: 76.44

2020-09-25 10:06:14,024 INFO fs.TestDFSIO:      Test exec time sec: 30.14

2020-09-25 10:06:14,024 INFO fs.TestDFSIO:

可以看到读取的吞吐量为:118Mb/s

三、清除测试数据

测试期间,会在HDFS集群上创建 /benchmarks目录,测试完毕后,我们可以清理该目录。

[root@node1 mapreduce]# hdfs dfs -ls -R /benchmarks

drwxr-xr-x   - root supergroup          0 2020-09-25 10:05 /benchmarks/TestDFSIO

drwxr-xr-x   - root supergroup          0 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_0

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_1

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_2

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_3

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_4

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_5

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_6

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_7

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_8

-rw-r--r--   3 root supergroup        112 2020-09-25 10:05 /benchmarks/TestDFSIO/io_control/in_file_test_io_9

drwxr-xr-x   - root supergroup          0 2020-09-25 09:56 /benchmarks/TestDFSIO/io_data

-rw-r--r--   3 root supergroup   10485760 2020-09-25 09:56 /benchmarks/TestDFSIO/io_data/test_io_0

……

执行清理:

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar   TestDFSIO -clean

删除命令会将 /benchmarks目录中内容删除

[root@node1 mapreduce]# hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar   TestDFSIO -clean

2020-09-25 10:11:03,278 INFO fs.TestDFSIO: TestDFSIO.1.8

2020-09-25 10:11:03,280 INFO fs.TestDFSIO: nrFiles = 1

2020-09-25 10:11:03,280 INFO fs.TestDFSIO: nrBytes (MB) = 1.0

2020-09-25 10:11:03,280 INFO fs.TestDFSIO: bufferSize = 1000000

2020-09-25 10:11:03,280 INFO fs.TestDFSIO: baseDir = /benchmarks/TestDFSIO

2020-09-25 10:11:03,892 INFO fs.TestDFSIO: Cleaning up test file

 

 

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值