[ubuntu20] hadoop3.1.2集群io测试

影响hdfs读写的因素：网络、磁盘读写速度

1.确定要写入的文件数=服务器cpu总核数-1=8*4-1=31

cat /proc/cpuinfo 看最后一个是几，因为是从0开始的，要+1

 2.查看网速

ubuntu20查看网速度_胖胖学编程的博客-CSDN博客

speedometer -r ens3   #-r接收的字节

speedometer -t ens3 #传输(发送,不一定是写,也可能在控制台打印啥的)的字节

3.写速度

root@hadoop1:/data/cluster/hadoop-3.1.3/share/hadoop/mapreduce# 
hadoop jar hadoop-mapreduce-client-jobclient-3.1.3-tests.jar 
TestDFSIO -write -nrFiles 31 -fileSize 128MB

分析

实测速度=39.47*(31*1我的副本数为2,其中有1个副本本地有,另一个副本要写往别的节点)=1223m/s

三台服务器的带宽=387kib/s*4=1548kib/s

如果实测速度远远小于网络,并且实测速度不能满足工作需求，可以考虑采用固态硬盘或者增加硬盘个数。

4.读速度

root@hadoop1:/data/cluster/hadoop-3.1.3/share/hadoop/mapreduce#
hadoop jar hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO 
-read -nrFiles 31 -fileSize 128MB

分析

实测速度=309*31=9579m/s

三台服务器的带宽=224mib/s*4=896mib/s

读的话，是读一份就行了，可以本地读，所以比写快

ubuntu20查看是否是固态硬盘_胖胖学编程的博客-CSDN博客