HDFS的安全模式和基准测试

HDFS的安全模式

安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。当hdfs集群刚刚启动的时候，hdfs会自动进入安全模式下，此时，Datanode和Namenode会进行块的校验过程，来检查数据块的完整性。对于用户而言，则无法对hdfs进行数据写入操作（删除，修改等），只允许进行查询，默认情况下，hdfs启动到达30s（等待所有的块校验完成）后，会自动退出安全模式。

hdfs dfsadmin -safemode get # 查看安全模式状态

hdfs dfsadmin -safemode enter  #进入安全模式

hdfs dfsadmin -safemode leave # 离开安全模式

安全模式无法退出：

原因：hdfs中块的副本不够，而无法新增，此时系统自动进入安全模式

解决方法：将对应块所属文件删除（强制退出）

通过Fianlshell进入到hdfs中，将data文件删除（此方法会造成原有的文件全部被删掉)

HDFS的基准测试：

验证HDFS的读写效率，就是其吞吐量的问题。

hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB