HDFS基准测试Hadoop3.1.3

当我们使用的Hadoop版本号是3.1.3时，代码或许改变了

我们的测试写入的速度代码是

hadoop jar /opt/module/hadoop/share/hadoop-3.1.3/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

在此我们要注意我们在文件夹里Hadoop是否改名，如果改了用以下代码，hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

如果出现以下代码

可能是内存不足，我们需要停止进程， 然后修改yarn-site.xml中添加如下配置信息，此命令三台都需要执行添加，然后重启yarn

在yarn-site.xml中添加

<property>

<description>Whether virtual memory limits will be enforced for

containers.</description>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

一定要三台机器都添加，之后再启动进程运行

如果出现以下代码：Caused by: java.net.ConnectException: 拒绝连接，可能是安全模式，我们需要手动检查：

查看安全模式状态：可以使用命令 hdfs dfsadmin -safemode get来查看NameNode当前是否处于安全模式，

手动退出安全模式：可以通过命令hdfs dfsadmin -safemode leave来手动使NameNode退出安全模式。

手动进入安全模式：通过命令 hdfs dfsadmin -safemode enter可以手动使NameNode进入安全模式。