Hadoop集群启动顺序和部分命令整理

Hadoop集群启动顺序

zookeepeer->hadoop->hbase

Hadoop集群关闭顺序

hbase->hadoop->zookeepeer

Hadoop 主备节点状态查看与手动切换

$HADOOP_HOME/bin/hdfs  haadmin -getServiceState  nn1
注意：此处的nn1为在hdfs-site.xml中配置的namenode服务的名称。

$HADOOP_HOME/bin/hdfs  haadmin -failover --forcefence --forceactive  nn2  nn1
注意：此处“nn2  nn1”的顺序表示active状态由nn2转换到nn1上（虽然nn2在转化前也可以是standby状态）。

安全模式

dfsadmin -safemode value 来操作安全模式，参数value的说明如下：
enter - 进入安全模式
leave - 强制NameNode离开安全模式
get  - 返回安全模式是否开启的信息
wait  - 等待，一直到安全模式结束。

块丢失修复

使用 hadoop fsck / 列出损坏文件

损坏的文件无法恢复，只能删除损坏的文件  hadoop fsck -delete

在namenode文件信息较大的时候会很慢，而且影响hadoop性能

Usage: hadoop fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]
        <path>  检查的起始目录
        -move   将损坏的文件移到到/lost+found
        -delete 删除损坏的文件
        -files  打印出所有被检查的文件
        -openforwrite   打印出正在写的文件
        -list-corruptfileblocks print out list of missing blocks and files they belong to
        -blocks 打印出block报告
        -locations      打印出每个block的位置
        -racks  打印出data-node的网络拓扑结构
默认情况下，fsck会忽略正在写的文件，使用-openforwrite可以汇报这种文件