HDFS 2.7.5 benchmark 基准测试

已于 2022-06-17 12:00:53 修改
阅读量348 收藏 2
点赞数
文章标签： hdfs hadoop big data
于 2022-06-17 11:53:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingrootz/article/details/125330569
版权

测试环境：

使用机器4台 ，环境配置如下

项目数值
网卡10000Mb/s
磁盘10块 * 2T * 4节点 HDD
副本数3
内存32G12块 4节点
HDFS集群组成Name Node2 + Data Node4
HDFS集群版本2.7.5
CPUIntel® Xeon® Gold 6230R 52核 * 4节点
测试工具包hadoop-mapreduce-client-jobclient-2.7.2-transwarp-7.0.1-tests.jar

HDFS具体服务配置参数：

1、NameNode：GC_OPTS -Xmx 24000m

2、DataNode：GC_OPTS Xmx 8192m

3、dfs.namenode.handler.count 100

4、dfs.datanode.handler.count 100

测试场景：

（1）向HDFS文件系统中写入数据，500个文件，每个文件 4195 MB。总数据2T。

指令：

time yarn jar hadoop-mapreduce-client-jobclient-2.7.2-transwarp-7.0.1-tests.jar  TestDFSIO  -write  -nrFiles 500 -fileSize 4195 >>./TestDFSIO_500_read.log 2>&1

第一次结果输出：
写文件

文件数量:500个  
处理的总字节数:2097500  
吞吐量mb/s:14.09  
平均IO速率mb/sec: 14.99  
IO rate std deviation:4.22  
测试执行时间秒: 1261.49

第二次结果输出：

----- TestDFSIO ----- : write
Date & time: Tue Feb 08 16:37:07 CST 2022
Number of files: 500
Total MBytes processed: 2097500
Throughput mb/sec: 10.92
Average IO rate mb/sec: 13.1
IO rate std deviation: 7.46
Test exec time sec: 2260.96

第三次结果输出：

----- TestDFSIO ----- : write
Date & time: Sat Feb 12 10:32:36 CST 2022
Number of files: 500
Total MBytes processed: 2097500
Throughput mb/sec: 11.92
Average IO rate mb/sec: 13.45
IO rate std deviation: 5.43
Test exec time sec: 1539.11

（2）读取数据测试

指令：

time yarn jar hadoop-mapreduce-client-jobclient-2.7.2-transwarp-7.0.1-tests.jar TestDFSIO -read -nrFiles 500 -fileSize 4195 >>./TestDFSIO_500_read.log 2>&1

第一次结果输出：

----- TestDFSIO ----- : read
Date & time: Tue Feb 08 16:58:32 CST 2022
Number of files: 500
Total MBytes processed: 2097500
Throughput mb/sec: 19.92
Average IO rate mb/sec: 29.83
IO rate std deviation: 20.08
Test exec time sec: 893.61

第二次结果输出：

----- TestDFSIO ----- : read
Date & time: Tue Feb 08 17:13:35 CST 2022
Number of files: 500
Total MBytes processed: 2097500
Throughput mb/sec: 28.54
Average IO rate mb/sec: 31.91
IO rate std deviation: 11.02
Test exec time sec: 637.79

第3次结果输出：

----- TestDFSIO ----- : read
Date & time: Sat Feb 12 10:56:41 CST 2022
Number of files: 500
Total MBytes processed: 2097500
Throughput mb/sec: 27.12
Average IO rate mb/sec: 30.03
IO rate std deviation: 10.12
Test exec time sec: 666.06

（3）测试写文件性能测试规格 263157个1MB文件，数据量256G

指令：

time yarn jar hadoop-mapreduce-client-jobclient-2.7.2-transwarp-7.0.1-tests.jar TestDFSIO -write -nrFiles 263157 -fileSize 1MB >> ./TestDFSIO_500_read.log 2>&1

第一次结果输出：

----- TestDFSIO ----- : write
Date & time: Wed Feb 09 01:20:08 CST 2022
Number of files: 263157
Total MBytes processed: 263157
Throughput mb/sec: 3.3
Average IO rate mb/sec: 4.3
IO rate std deviation: 1.34
Test exec time sec: 13930.2

第二次结果输出：

----- TestDFSIO ----- : write
Date & time: Thu Feb 10 19:12:51 CST 2022
Number of files: 263157
Total MBytes processed: 263157
Throughput mb/sec: 1.29
Average IO rate mb/sec: 4
IO rate std deviation: 1.63
Test exec time sec: 18124.23

第3次结果输出：

----- TestDFSIO ----- : write
Date & time: Sat Feb 12 18:45:33 CST 2022
Number of files: 263157
Total MBytes processed: 263157
Throughput mb/sec: 3.61
Average IO rate mb/sec: 4.36
IO rate std deviation: 1.29
Test exec time sec: 13341.98

（4）测试读文件性能测试

指令：

time yarn jar hadoop-mapreduce-client-jobclient-2.7.2-transwarp-7.0.1-tests.jar TestDFSIO -read -nrFiles 263157 -fileSize 1MB >> ./TestDFSIO_500_read.log 2>&1

第一次结果输出：

----- TestDFSIO ----- : read
Date & time: Wed Feb 09 17:40:26 CST 2022
Number of files: 263157
Total MBytes processed: 263157
Throughput mb/sec: 11.55
Average IO rate mb/sec: 39.29
IO rate std deviation: 43.22
Test exec time sec: 13377.81

第二次结果输出：

----- TestDFSIO ----- : read
Date & time: Thu Feb 10 04:04:08 CST 2022
Number of files: 263157
Total MBytes processed: 263157
Throughput mb/sec: 11.33
Average IO rate mb/sec: 39.21
IO rate std deviation: 43.54
Test exec time sec: 13979.92

第三次结果输出：

----- TestDFSIO ----- : read
Date & time: Sun Feb 13 02:32:27 CST 2022
Number of files: 263157
Total MBytes processed: 263157
Throughput mb/sec: 12.66
Average IO rate mb/sec: 38.7
IO rate std deviation: 45.33
Test exec time sec: 12911.45

测试数据归纳

系统级指标名称指标名称数据量测试内容测试结果
吞吐量规格写吞吐量(MB/Node/Sec)2T（500个4195 MB文件）hadoop-mapreduce-client-jobclient-2.7.2-transwarp-7.0.1-tests.jar第一次：3.52 MB/Node/Sec ，第二次：2.73 MB/Node/Sec ，第三次： 2.98 MB/Node/Sec
吞吐量规格读吞吐量(MB/Node/Sec)2T（500个4195 MB文件hadoop-mapreduce-client-jobclient-2.7.2-transwarp-7.0.1-tests.jar第一次：4.98 MB/Node/Sec ，第二次：7.10 MB/Node/Sec ，第三次：6.78 MB/Node/Sec
吞吐量规格写文件(次/秒/NN)256G（263157个1MB文件）hadoop-mapreduce-client-jobclient-2.7.2-transwarp-7.0.1-tests.jar第一次：13377.81 次/秒/NN，第二次：13979.92 次/秒/NN，第三次：12911.45 次/秒/NN
吞吐量规格读文件(次/秒/NN)256G（263157个1MB文件）hadoop-mapreduce-client-jobclient-2.7.2-transwarp-7.0.1-tests.jar第一次：13930.2 次/秒/NN，第二次：18124.23 次/秒/NN，第三次：13341.98 次/秒/NN
clear_soul
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
libhdfs-benchmark:libhdfs 基准测试
07-10
HDFS 基准 编译 为了能够运行 libhdfs 基准测试，请在编译时指定包含目录和库路径： $ cd libhdfs-benchmark $ mkdir build $ cd build $ cmake -DLIBHDFS_INCLUDE_DIR=/usr/local/include/hdfs -DLIBHDFS_LIBRARY=/usr/local/lib/libhdfs3.so .. 运行基准测试 清除文件系统缓存 如果您以 root 身份运行基准测试，例如使用 sudo，文件系统缓存将被自动清除。 如果您更喜欢在没有 root 权限的情况下运行基准测试，请运行以下命令来删除文件系统缓存： $ sudo sync $ sudo echo 3 | sudo tee /proc/sys/vm/drop_caches 用dd测量磁盘读写速度 $ dd if=/dev/zero of
HDFS benchmark 基准测试
争当鲲鹏飞万里 不做燕雀恋子巢
03-28 802
一. Hadoop基准测试 Hadoop自带了几个基准测试，被打包在几个jar包中。本文主要是cloudera版本测试 [root@bd129118 hadoop-0.20-mapreduce]# ls /opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/hadoop* | egrep "examples|test" ...
hdfs-benchmark:适用于CC ++的HDFS库的微基准测试
05-22
HDFS库基准测试 该基准测试评估了基于JNI的本机libhdfs和本机实现libhdfs3（ ）的性能。 编译中 $ cd hdfs-benchmark $ mkdir build $ cd build $ cmake .. 如果将Hadoop安装在/usr/local/hadoop或Clouderas Hadoop发行版（CDH）中，则不带参数运行$ cmake ..通常会找到Hadoop提供的libhdfs。 为了链接到libhdfs3，请指定库并包含dir，如下所示： $ cmake -DLIBHDFS_LIBRARY=... -DLIBHDFS_INCLUDE_DIR=... .. 运行基准 本地库 如果您以root用户身份（例如，使用sudo）运行基准测试，则文件系统缓存将自动清除。 如果您希望在没有root用户权限的情况下运行基准测试，请运行以下命令以删除文件系统缓存
HDFS scalability:the limits to growth
ghttzsqgm的专栏
04-09 979
转自 http://duanple.blog.163.com/blog/static/70971767201181745539637/ 作者：Konstantin Shvachko 2010-4 原文：http://www.aosabook.org/en/hdfs.html 译者：phylips@bmy 2011-9-17 译文：http://duanple.b
Hadoop安装与Benchmarking
SOGD
02-26 368
Hadoop安装与BenchMarking
HDFS如何解决海量数据存储及解决方案详解
yqqの博客
03-08 1476
写入测试 打开方式 文件系统的分类 本地磁盘文件系统 光盘文件系统 网络文件系统 分布式文件系统 文件查询问题 HDFS的切片问题 概念 HDFS的元数据 HDFS的架构 语法 操作 回收站配置 HDFS的安全模式 介绍 操作命令 HDFS的读写流程 写入流程 查看日志文件内容 HDFS的JavaAPI操作（重点） 介绍 核心类 代码 HDFS的远程拷贝命令 集群内部拷贝 集群之间拷贝 HDFS的归
测试hadoop集群的读写与计算能力
weixin_46122692的博客
11-21 996
1、测试HDFS写性能 向HDFS集群写10个128M的文件 cd /data/hadoop/hadoop/ bin/hadoop jar /data/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB 参数代表含义： Number of files: 10：文件数量为10 Total MB
HDFS基准测试
weixin_44331420的博客
03-30 314
实际生产环境当中，hadoop的环境搭建完成后，第一件事就是进行压力测试。测试实际集群的读取和写入速度，测试我们网络宽带是否足够等一些基准测试。
HDFS基准测试（压力测试）
weixin_47878012的博客
01-09 1733
所用Hadoop版本为之前文章配置的2.7.5版本 hadoop的环境搭建完成之后，进行压力测试，测试我们的集群的读取和写入速度，网络带宽等一些基准测试。 1测试写入速度 在hadoop-2.7.5/share/hadoop/mapreduce/下有很多分布式计算程序 其中hadoop-mapreduce-client-jobclient-2.7.5.jar是可以用来进行基准测试的 向HDFS文件系统中写入数据,10个文件,每个文件10MB 执行测试命令之后会生产相关的测试log文件，我们将
HDFS性能压测工具浅析
06-04
自从诞生HDFS开始，相关的性能压测工具就出现了，其中一些堪称经典之作更是检验HDFS性能的必用神器。例如Terasort，Slive，DFSIO，下面我就这几个工具的共同点和各自的特点做一个简单分析。
hdfs-元数据测试
10-23
本文重在探索hdfs分布式文件系统的元数据合并及更新原理。
HDFS_HA安装测试
06-04
安装CentOS7-X64,选择带GUI的服务器，非管理结点也可以最小安装+开发。选择带Infiniband 支持，Hdfs高性能稳定性集群搭建
flime安装+配置+测试+案例（采集日志至HDFS）
04-15
flime安装+配置+测试+案例（采集日志至HDFS）+理论+搭建错误解决，超详细flum搭建，一篇带你入门flume，通俗易懂，详细步骤注解！！！
HDFS的基准测试
散步的博客
03-01 535
实际生产环境当中，hadoop的环境搭建完成之后，第一件事情就是进行压力测试，测试我们的集群的读取和写入速度，测试我们网络带宽是否足够等一些基准测试 测试写入速度： 向HDFS文件系统中写入数据，10个文件，每个文件10MB，文件存放到/benchmarks/TestDFSIO中 hadoop jar /export/servers/hadoop-2.7.5/s...
工欲善其事必先利其器——第二弹 HDFS性能压测工具浅析
langtaosha的专栏
11-29 1755
引言 Hadoop生态圈的基石有两个，一个是HDFS文件系统，一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案，则突出了MR的能力，实际上HDFS作为这一切的基础，所起的作用是不容忽视的。 HDFS分布式文件系统与一般的文件系统，从本质构成上来说并没有太大的区别，普通磁盘上的文件系统，例如ext3有数据块（block），HDFS也有这个概念，ext3
Hadoop性能测试-Benchmarking
nothair的博客
12-08 1804
2020/11/27 [email protected] 文章目录Hadoop Benchmarking一、调试集群二、测试组件2.1、TestDFSIO2.1.1、向HDFS上传10个100MB的文件2.1.2、从HDFS读取10个1000MB的文件2.2、nnbench2.2.1、使用12个mapper和6个reducer创建1000个文件2.3、mrbench2.3.1、运行一个小作业50次2.4、Teragen-TeraSort-Teravalidate2.4.1、Teragen生成测试数据2
hdfs benchmark
shahaizimxm的专栏
03-31 1511
hdfs benchmark 1. TestDFSIO 1)简介 该benchmark用于测试hdfs的读写速率，发现所在网络的性能瓶颈。其在hdfs上的默认输出目录为/benchmarks/TestDFSIO；在本地的默认输出路径为当前目录（可通过设置-D test.build.data来修改），默认文件名为TestDFSIO_results.log（可以通过-resFile参数来修改
Hadoop学习笔记（三）HDFS的常用命令
1853
07-19 3394
HDFS学习笔记 hdfs基本命令 ls hdfs dfs -ls / ls -R hdfs dfs -ls -R / mkdir hdfs dfs -mkdir -p /hao/ok put hdfs dfs -put /root/a.txt /dir1 moveFromLocal hdfs dfs -moveFromLocal /root/hao.txt / get hdfs dfs -get /dir2/dir22/a.txt ./ mv hdfs dfs -mv /dir1/a.txt
hdfs所有基础命令测试脚本
最新发布
05-13
以下是HDFS的基础命令测试脚本，可以用于测试HDFS的基础命令是否可用。 ```bash #!/bin/bash # Create directory hdfs dfs -mkdir /testdir # Create file echo "Hello World" > test.txt hdfs dfs -put test.txt...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值