hadoop基准性能测试

最新推荐文章于 2024-04-22 15:44:38 发布
最新推荐文章于 2024-04-22 15:44:38 发布
阅读量279 收藏
点赞数
分类专栏： # Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dgqg1223/article/details/107415660
版权

HDFS写性能

测试内容：向HDFS集群写10个128m的文件

hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

20/07/17 08:09:34 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
20/07/17 08:09:34 INFO fs.TestDFSIO:            Date & time: Fri Jul 17 08:09:34 UTC 2020
20/07/17 08:09:34 INFO fs.TestDFSIO:        Number of files: 10
20/07/17 08:09:34 INFO fs.TestDFSIO: Total MBytes processed: 1280.0
20/07/17 08:09:34 INFO fs.TestDFSIO:      Throughput mb/sec: 76.33587786259542
20/07/17 08:09:34 INFO fs.TestDFSIO: Average IO rate mb/sec: 81.69550323486328
20/07/17 08:09:34 INFO fs.TestDFSIO:  IO rate std deviation: 21.683323743056395
20/07/17 08:09:34 INFO fs.TestDFSIO:     Test exec time sec: 20.283

测试HDFS读性能

测试内容：读取HDFS集群10个128M的文件

hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

20/07/17 08:14:28 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
20/07/17 08:14:28 INFO fs.TestDFSIO:            Date & time: Fri Jul 17 08:14:28 UTC 2020
20/07/17 08:14:28 INFO fs.TestDFSIO:        Number of files: 10
20/07/17 08:14:28 INFO fs.TestDFSIO: Total MBytes processed: 1280.0
20/07/17 08:14:28 INFO fs.TestDFSIO:      Throughput mb/sec: 282.4360105913504
20/07/17 08:14:28 INFO fs.TestDFSIO: Average IO rate mb/sec: 558.9140014648438
20/07/17 08:14:28 INFO fs.TestDFSIO:  IO rate std deviation: 480.34357648099825
20/07/17 08:14:28 INFO fs.TestDFSIO:     Test exec time sec: 16.391

删除测试数据

hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -clean

使用Sort程序测试MapReduce

  1. 使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数

    hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar randomwriter random-data

  2. 执行sort程序

    hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar sort random-data sorted-data

  3. 验证

    hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar testmapredsort -sortInput random-data -sortOutput sorted-data

生成1G数据job

[root@dw-node01 hadoop]# hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar randomwriter rando
20/07/17 08:20:31 INFO client.RMProxy: Connecting to ResourceManager at dw-node02/192.168.9.202:8032
Running 30 maps.
Job started: Fri Jul 17 08:20:31 UTC 2020
20/07/17 08:20:31 INFO client.RMProxy: Connecting to ResourceManager at dw-node02/192.168.9.202:8032
20/07/17 08:20:32 INFO mapreduce.JobSubmitter: number of splits:30
20/07/17 08:20:32 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1594972286943_0003
20/07/17 08:20:32 INFO impl.YarnClientImpl: Submitted application application_1594972286943_0003
20/07/17 08:20:32 INFO mapreduce.Job: The url to track the job: http://dw-node02:8088/proxy/application_1594972286943_0003/
20/07/17 08:20:32 INFO mapreduce.Job: Running job: job_1594972286943_0003
20/07/17 08:20:37 INFO mapreduce.Job: Job job_1594972286943_0003 running in uber mode : false
20/07/17 08:20:37 INFO mapreduce.Job:  map 0% reduce 0%
20/07/17 08:24:29 INFO mapreduce.Job:  map 3% reduce 0%
20/07/17 08:24:33 INFO mapreduce.Job:  map 7% reduce 0%
20/07/17 08:24:51 INFO mapreduce.Job:  map 10% reduce 0%
20/07/17 08:24:53 INFO mapreduce.Job:  map 13% reduce 0%
20/07/17 08:25:09 INFO mapreduce.Job:  map 17% reduce 0%
20/07/17 08:25:13 INFO mapreduce.Job:  map 20% reduce 0%
20/07/17 08:25:19 INFO mapreduce.Job:  map 27% reduce 0%
20/07/17 08:25:20 INFO mapreduce.Job:  map 30% reduce 0%
20/07/17 08:25:31 INFO mapreduce.Job:  map 33% reduce 0%
20/07/17 08:25:34 INFO mapreduce.Job:  map 37% reduce 0%
20/07/17 08:25:35 INFO mapreduce.Job:  map 40% reduce 0%
20/07/17 08:25:37 INFO mapreduce.Job:  map 43% reduce 0%
20/07/17 08:25:38 INFO mapreduce.Job:  map 47% reduce 0%
20/07/17 08:25:41 INFO mapreduce.Job:  map 50% reduce 0%
20/07/17 08:25:45 INFO mapreduce.Job:  map 53% reduce 0%
20/07/17 08:25:46 INFO mapreduce.Job:  map 57% reduce 0%
20/07/17 08:25:49 INFO mapreduce.Job:  map 60% reduce 0%
20/07/17 08:25:50 INFO mapreduce.Job:  map 70% reduce 0%
20/07/17 08:25:52 INFO mapreduce.Job:  map 73% reduce 0%
20/07/17 08:27:51 INFO mapreduce.Job:  map 80% reduce 0%
20/07/17 08:27:58 INFO mapreduce.Job:  map 83% reduce 0%
20/07/17 08:27:59 INFO mapreduce.Job:  map 87% reduce 0%
20/07/17 08:28:06 INFO mapreduce.Job:  map 90% reduce 0%
20/07/17 08:28:07 INFO mapreduce.Job:  map 93% reduce 0%
20/07/17 08:28:08 INFO mapreduce.Job:  map 97% reduce 0%
20/07/17 08:28:09 INFO mapreduce.Job:  map 100% reduce 0%
20/07/17 08:28:22 INFO mapreduce.Job: Job job_1594972286943_0003 completed successfully
20/07/17 08:28:23 INFO mapreduce.Job: Counters: 33
	File System Counters
		FILE: Number of bytes read=0
		FILE: Number of bytes written=3515390
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=3680
		HDFS: Number of bytes written=32318668575
		HDFS: Number of read operations=120
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=60
	Job Counters 
		Killed map tasks=10
		Launched map tasks=40
		Other local map tasks=40
		Total time spent by all maps in occupied slots (ms)=8331235
		Total time spent by all reduces in occupied slots (ms)=0
		Total time spent by all map tasks (ms)=8331235
		Total vcore-milliseconds taken by all map tasks=8331235
		Total megabyte-milliseconds taken by all map tasks=8531184640
	Map-Reduce Framework
		Map input records=30
		Map output records=3068426
		Input split bytes=3680
		Spilled Records=0
		Failed Shuffles=0
		Merged Map outputs=0
		GC time elapsed (ms)=15455
		CPU time spent (ms)=1228130
		Physical memory (bytes) snapshot=5070524416
		Virtual memory (bytes) snapshot=58810920960
		Total committed heap usage (bytes)=3866624000
	org.apache.hadoop.examples.RandomWriter$Counters
		BYTES_WRITTEN=32212494219
		RECORDS_WRITTEN=3068426
	File Input Format Counters 
		Bytes Read=0
	File Output Format Counters 
		Bytes Written=32318668575
Job ended: Fri Jul 17 08:28:23 UTC 2020
The job took 471 seconds.

排序数据

hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -clean
20/07/17 08:17:57 INFO fs.TestDFSIO: TestDFSIO.1.8
20/07/17 08:17:57 INFO fs.TestDFSIO: nrFiles = 1
20/07/17 08:17:57 INFO fs.TestDFSIO: nrBytes (MB) = 1.0
20/07/17 08:17:57 INFO fs.TestDFSIO: bufferSize = 1000000
20/07/17 08:17:57 INFO fs.TestDFSIO: baseDir = /benchmarks/TestDFSIO
20/07/17 08:17:58 INFO fs.TestDFSIO: Cleaning up test files
[root@dw-node01 hadoop]# hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar randomwriter rando
20/07/17 08:20:31 INFO client.RMProxy: Connecting to ResourceManager at dw-node02/192.168.9.202:8032
Running 30 maps.
Job started: Fri Jul 17 08:20:31 UTC 2020
20/07/17 08:20:31 INFO client.RMProxy: Connecting to ResourceManager at dw-node02/192.168.9.202:8032
20/07/17 08:20:32 INFO mapreduce.JobSubmitter: number of splits:30
20/07/17 08:20:32 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1594972286943_0003
20/07/17 08:20:32 INFO impl.YarnClientImpl: Submitted application application_1594972286943_0003
20/07/17 08:20:32 INFO mapreduce.Job: The url to track the job: http://dw-node02:8088/proxy/application_1594972286943_0003/
20/07/17 08:20:32 INFO mapreduce.Job: Running job: job_1594972286943_0003
20/07/17 08:20:37 INFO mapreduce.Job: Job job_1594972286943_0003 running in uber mode : false
20/07/17 08:20:37 INFO mapreduce.Job:  map 0% reduce 0%
20/07/17 08:24:29 INFO mapreduce.Job:  map 3% reduce 0%
20/07/17 08:24:33 INFO mapreduce.Job:  map 7% reduce 0%
20/07/17 08:24:51 INFO mapreduce.Job:  map 10% reduce 0%
20/07/17 08:24:53 INFO mapreduce.Job:  map 13% reduce 0%
20/07/17 08:25:09 INFO mapreduce.Job:  map 17% reduce 0%
20/07/17 08:25:13 INFO mapreduce.Job:  map 20% reduce 0%
20/07/17 08:25:19 INFO mapreduce.Job:  map 27% reduce 0%
20/07/17 08:25:20 INFO mapreduce.Job:  map 30% reduce 0%
20/07/17 08:25:31 INFO mapreduce.Job:  map 33% reduce 0%
20/07/17 08:25:34 INFO mapreduce.Job:  map 37% reduce 0%
20/07/17 08:25:35 INFO mapreduce.Job:  map 40% reduce 0%
20/07/17 08:25:37 INFO mapreduce.Job:  map 43% reduce 0%
20/07/17 08:25:38 INFO mapreduce.Job:  map 47% reduce 0%
20/07/17 08:25:41 INFO mapreduce.Job:  map 50% reduce 0%
20/07/17 08:25:45 INFO mapreduce.Job:  map 53% reduce 0%
20/07/17 08:25:46 INFO mapreduce.Job:  map 57% reduce 0%
20/07/17 08:25:49 INFO mapreduce.Job:  map 60% reduce 0%
20/07/17 08:25:50 INFO mapreduce.Job:  map 70% reduce 0%
20/07/17 08:25:52 INFO mapreduce.Job:  map 73% reduce 0%
20/07/17 08:27:51 INFO mapreduce.Job:  map 80% reduce 0%
20/07/17 08:27:58 INFO mapreduce.Job:  map 83% reduce 0%
20/07/17 08:27:59 INFO mapreduce.Job:  map 87% reduce 0%
20/07/17 08:28:06 INFO mapreduce.Job:  map 90% reduce 0%
20/07/17 08:28:07 INFO mapreduce.Job:  map 93% reduce 0%
20/07/17 08:28:08 INFO mapreduce.Job:  map 97% reduce 0%
20/07/17 08:28:09 INFO mapreduce.Job:  map 100% reduce 0%
20/07/17 08:28:22 INFO mapreduce.Job: Job job_1594972286943_0003 completed successfully
20/07/17 08:28:23 INFO mapreduce.Job: Counters: 33
	File System Counters
		FILE: Number of bytes read=0
		FILE: Number of bytes written=3515390
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=3680
		HDFS: Number of bytes written=32318668575
		HDFS: Number of read operations=120
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=60
	Job Counters 
		Killed map tasks=10
		Launched map tasks=40
		Other local map tasks=40
		Total time spent by all maps in occupied slots (ms)=8331235
		Total time spent by all reduces in occupied slots (ms)=0
		Total time spent by all map tasks (ms)=8331235
		Total vcore-milliseconds taken by all map tasks=8331235
		Total megabyte-milliseconds taken by all map tasks=8531184640
	Map-Reduce Framework
		Map input records=30
		Map output records=3068426
		Input split bytes=3680
		Spilled Records=0
		Failed Shuffles=0
		Merged Map outputs=0
		GC time elapsed (ms)=15455
		CPU time spent (ms)=1228130
		Physical memory (bytes) snapshot=5070524416
		Virtual memory (bytes) snapshot=58810920960
		Total committed heap usage (bytes)=3866624000
	org.apache.hadoop.examples.RandomWriter$Counters
		BYTES_WRITTEN=32212494219
		RECORDS_WRITTEN=3068426
	File Input Format Counters 
		Bytes Read=0
	File Output Format Counters 
		Bytes Written=32318668575
Job ended: Fri Jul 17 08:28:23 UTC 2020
The job took 471 seconds.
得过且过1223
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据 | Hadoop性能测试
xyzhang的博客
12-03 904
测试写性能： 向HDFS写5个128M的文件，其中5根据集群的规模来测试，集群同时能跑多少个map task 执行日志中显示执行时间： 2. 读数据 测试读性能： 执行日志： 3. 清除测试数据 4. 测试MR性能 通过随机数排序来测试性能，测试流程主要分为以下几个步骤 参考资料： Hadoop-之性能测试（基准测试）
hadoop性能测试
jinhong_lu的博客
06-16 8339
一、hadoop自带的性能基准评测工具 （一）TestDFSIO 1、测试写性能 （1）若有必要，先删除历史数据 $hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce2/hadoop-mapreduce-client-jobclient-2.3.0-cdh5.1.2-tests.jar TestDFSIO -clean （
HDFS读写测试
南风知我意
06-09 1663
2.先测试硬盘的读写，看下硬件瓶颈 1.fio命令，测试磁盘的读写性能 （1）顺序读测试 结果显示，磁盘的总体顺序读速度为360MiB/s。 结果显示，磁盘的总体顺序写速度为341MiB/s。 结果显示，磁盘的总体随机写速度为309MiB/s。 （4）混合随机读写： 结果显示，磁盘的总体混合随机读写，读速度为220MiB/s，写速度94.6MiB/s。测试网速：来到hadoop102的/opt/module目录，创建一个 0）写测试底层原理 2）注意：如果测试过程中，出现异常 （1）可以在yarn-sit
HDFS的安全模式和基准测试
最新发布
2301_81336332的博客
04-22 203
用于保证集群中的数据块的安全性。当hdfs集群刚刚启动的时候，hdfs会自动进入安全模式下，此时，Datanode和Namenode会进行块的校验过程，来检查数据块的完整性。对于用户而言，则无法对hdfs进行数据写入操作（删除，修改等），只允许进行查询，默认情况下，hdfs启动到达30s（等待所有的块校验完成）后，会自动退出安全模式。通过Fianlshell进入到hdfs中，将data文件删除（此方法会造成原有的文件全部被删掉)原因：hdfs中块的副本不够，而无法新增，此时系统自动进入安全模式。
Hadoop集群测试
qq_65274143的博客
11-10 1980
Hadoop集群测试
【大数据实验2】hadoop配置、测试和实例
nosteglic
10-24 5975
hadoop 1、安装 2、测试 3、实例
【大数据之Hadoop】二十六、生产调优-HDFS集群压测
阿宁的博客
05-07 961
测试上传数据到集群和拉取数据的时间。HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104虚拟机网络的带宽都设置为100Mbps。
Hadoop性能基准测试
背离赤道、逆光而行
04-16 548
1） 测试HDFS写性能 测试内容：向HDFS集群写10个128M的文件 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB 输出日志： 20/04/16...
Hadoop平台基准性能测试工具的设计与实现.pdf
01-18
Hadoop平台基准性能测试工具的设计与实现
Hadoop 分布式部署配置及基准性能测试
12-08
Hadoop V3.3.3 分布式部署步骤，DFSIO和Tersort基准测试
Hadoop平台基准性能测试研究_张新玲.pdf
01-18
Hadoop平台基准性能测试研究
hadoop各个版本，用于测试需要
06-25
6. **性能基准测试**：通过工具如TeraSort或YCSB（Yahoo! Cloud Serving Benchmark）来衡量不同版本的性能，包括数据读写速度、任务处理速度、内存和CPU使用情况等。 7. **容错性**：测试Hadoop在节点故障时的恢复...
hd_test:hadoop i 基准测试
06-07
建造为了构建和运行此测试，您必须将 HDFS 和 Hadoop 通用 jar 文件放入您的类路径中。 在 Hadoop 安装中，这些位于 share/hadoop/common/share/hadoop/hdfs/ 待办事项：使用 Maven。跑步运行测试时，您必须设置一些...
Hadoop的生成经验调优和基准测试
勇敢牛牛，不怕困难！
02-24 1574
HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。，注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
Hadoop基准测试
weixin_44484668的博客
02-20 1169
在企业中非常关心每天从Java后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从HDFS上拉取需要的数据？ 为了搞清楚HDFS的读写性能，生产环境上非常需要对集群进行压测。 HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104虚拟机网络都设置为100mbps。 100Mbps单位是bit；10M/s单位是byte ; 1byte=8bit，100Mbps/8=12.5M/s。 测试网速： （1）来到hadoop102的/opt
HDFS基准测试
weixin_44331420的博客
03-30 323
实际生产环境当中，hadoop的环境搭建完成后，第一件事就是进行压力测试。测试实际集群的读取和写入速度，测试我们网络宽带是否足够等一些基准测试。
【Hadoop-HDFS压测】针对HDFS进行读写性能测试
weixin_53543905的博客
03-10 1295
目录下，如果是CDH版本安装的Hadoop需要自己去对应目录下找。1、如果是Apache版本安装的Hadoop默认在。：总数据量（文件数量×单个文件大小）：总数据量（文件数量×单个文件大小），所以需要在服务器中配置。2、此工具测试需要执行。Hadoop环境变量。【Hadoop-HDFS压测】针对HDFS进行读写性能测试
HDFS基准测试（压力测试）
weixin_47878012的博客
01-09 1809
所用Hadoop版本为之前文章配置的2.7.5版本 hadoop的环境搭建完成之后，进行压力测试，测试我们的集群的读取和写入速度，网络带宽等一些基准测试。 1测试写入速度 在hadoop-2.7.5/share/hadoop/mapreduce/下有很多分布式计算程序 其中hadoop-mapreduce-client-jobclient-2.7.5.jar是可以用来进行基准测试的 向HDFS文件系统中写入数据,10个文件,每个文件10MB 执行测试命令之后会生产相关的测试log文件，我们将
三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
07-08 3684
Hadoop系统应用实验之Hadoop集群测试及初体验，初体验实验为词频统计，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
hadoop DFSIO测试调优方法
04-27
Hadoop DFSIO测试是一种测试Hadoop文件系统性能的基准测试方法。下面是一些常见的Hadoop DFSIO测试调优方法： 1. 增加数据块大小：默认情况下，Hadoop的数据块大小为64MB。如果你的数据集较大，可以考虑增加数据块...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值