HDFS-集群压测

        在企业中非常关心每天从 Java 后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从 HDFS 上拉取需要的数据？
        为了搞清楚 HDFS 的读写性能，生产环境上非常需要对集群进行压测。

HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，我将自己配置的三台虚拟机网络都设置为100mbps

100Mbps 单位是 bit；10M/s 单位是 byte ; 1byte=8bit，100Mbps/8=12.5M/s。

接下来，测试网速。先创建一个目录,这个目录下有存在文件可下载

python -m SimpleHTTPServer

然后我们去网页，通过这个虚拟机的地址去访问这个端口

可以点击进行下载

 这里有点误差，因为在传输的过程中会有损耗，所以速率达不到

上面这步是证明网速速率调好了

测试HDFS写性能

0）写测试底层原理

1）测试内容：向 HDFS 集群写 10 个 128M 的文件

输入以下命令

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

  注意：nrFiles n 为生成 mapTask 的数量，生产环境一般可通过 hadoop103:8088 查看 CPU
核数，设置为（CPU 核数 - 1）

➢  Number of files：生成 mapTask 数量，一般是集群中（CPU 核数-1），我们测试虚拟机就按照实际的物理内存-1 分配即可
➢  Total MBytes processed：单个 map 处理的文件大小
➢  Throughput mb/sec:单个 mapTak 的吞吐量
计算方式：处理的总文件大小/每一个 mapTask 写数据的时间累加集群整体吞吐量：生成 mapTask 数量*单个 mapTak 的吞吐量
➢  Average IO rate mb/sec::平均 mapTak 的吞吐量
计算方式：每个 mapTask 处理文件大小/每一个 mapTask 写数据的时间

全部相加除以 task 数量
➢  IO rate std deviation:方差、反映各个 mapTask 处理的差值，越小越均衡

2）注意：如果测试过程中，出现异常

（1）可以在 yarn-site.xml 中设置虚拟内存检测为 false

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则
直接将其杀掉，默认是 true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

（2）分发配置并重启 Yarn 集群

3）测试结果分析
（1）由于副本 1 就在本地，所以该副本不参与测试

 一共参与测试的文件：10 个文件 * 2 个副本 = 20 个
压测后的速度：0.97
实测速度：0.97M/s * 20 个文件 ≈ 20M/s
三台服务器的带宽：12.5 + 12.5 + 12.5 ≈ 30m/s
网络的资源并没有用满，是因为我电脑的硬盘不是很好，当然了，这个也属于正常情况。

如果实测速度远远小于网络，并且实测速度不能满足工作需求，可以考虑采用固态硬盘
或者增加磁盘个数。

（2）如果客户端不在集群节点，那就三个副本都参与计算

测试HDFS读性能

1）测试内容：读取 HDFS 集群 10 个 128M 的文件

hadoop jar hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

 2）删除测试生成数据

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -clean

3）测试结果分析：为什么读取文件速度大于网络带宽？由于目前只有三台服务器，且有三
个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。

测试完，记得把网络改回去