hadoop命令记录

1.查看hdfs集群状态

hdfs dfsadmin -report

[hadoop@master bin]$ ./hdfs dfsadmin -safemode enter          #进入Safemode模式

[hadoop@master bin]$ ./hdfs dfsadmin -safemode get	      #获取当前运行模式

[hadoop@master bin]$ ./hdfs dfsadmin -safemode leave          #退出Safemode模式

[hadoop@master bin]$ hadoop dfsadmin -report		      #当前hadoop集群状态信息

[hadoop@master bin]$ ./hdfs dfsadmin  -refreshNodes           #新增删除节点更新集群信息

[hadoop@master sbin]$ ./hadoop-daemon.sh  stop datanode      #停止单个数据节点

[hadoop@master ~]$ hadoop dfsadmin -printTopology 	      #打印集群网络拓扑

2、hadoop fsck /

Status: HEALTHY
Total size: 3107919020687 B
Total dirs: 142
Total files: 321
Total symlinks: 0
Total blocks (validated): 11738 (avg. block size 264774154 B)
Minimally replicated blocks: 11738 (100.0 %)
Over-replicated blocks: 3605 (30.712217 %)
Under-replicated blocks: 0 (0.0 %)
Mis-replicated blocks: 8011 (68.24842 %)
Default replication factor: 3
Average block replication: 3.3083148
Corrupt blocks: 0
Missing replicas: 0 (0.0 %)
Number of data-nodes: 11
Number of racks: 2
FSCK ended at Fri Nov 10 15:11:47 CST 2017 in 418 milliseconds


参数解释：
status：代表这次hdfs上block检测的结果
Total size: 代表/目录下文件总大小
Total dirs：代表检测的目录下总共有多少个目录
Total files：代表检测的目录下总共有多少文件
Total symlinks：代表检测的目录下有多少个符号连接
Total blocks(validated)：代表检测的目录下有多少个block块是有效的
Minimally replicated blocks：代表拷贝的最小block块数
Over-replicated blocks：指的是副本数大于指定副本数的block数量
Under-replicated blocks：指的是副本数小于指定副本数的block数量
Mis-replicated blocks：指丢失的block块数量
Default replication factor: 3 指默认的副本数是3份（自身一份，需要拷贝两份）
Missing replicas：丢失的副本数
Number of data-nodes：有多少个节点
Number of racks：有多少个机架

具体命令介绍：
-move: 移动损坏的文件到/lost+found目录下
-delete: 删除损坏的文件
-openforwrite: 输出检测中的正在被写的文件
-list-corruptfileblocks: 输出损坏的块及其所属的文件
-files: 输出正在被检测的文件
-blocks: 输出block的详细报告 （需要和-files参数一起使用）
-locations: 输出block的位置信息 （需要和-files参数一起使用）
-racks: 输出文件块位置所在的机架信息（需要和-files参数一起使用）
例如要查看HDFS中某个文件的block块的具体分布，可以这样写：
 

hadoop fsck /your_file_path -files -blocks -locations -racks