hadoop快速自我学习--hadoop平台管理与维护

1，HDFS常用命令

hdfs dfs -mkdir /data

hdfs dfs -put  localfile  hdfspath

-rm  

-du -h

-chmod

-chown  user:group  hdfspath

-cat   

-zcat

-version

hdfs dfsadmin -report  集群运行状态

-help   获取更多命令

 

2,作业命令

mapred job -list   列出所有正在运行的作业

mapred job -kill job_xx  停止某个指定的job

 

3，资源命令

yarn application -list   列出所有在YARN中正在运行的任务

yarn application -kill application_id   停止指定的application任务

 

4，计算空间命令

hdfs fsck  /file  -files -blocks -locations -racks  查看文件健康状况

hdfs dfs -du -h /hdfsfile/  打印目录信息

hdfs dfs -count -q /hdfspath 打印目录信息和qutoa(文件配额)占用情况

hdfs dfs -count -g /hdfspath 打印目录信息和qutoa(文件配额)占用情况

 

5，namenode

查看NN状态

hdfs haadmin -getServiceState nna（节点名）

强制将nns节点有NameNode Standby切换成Active

hdfs haadmin -transitionToActive/transitionToStandby -forcemanual nna

强制将nna节点有NameNode Active切换成Standby

hdfs haadmin -failover --forcefence --forceactive nna nns

以上切换最简单的办法是直接kill某个节点上的NameNode进程

 

6，安全模式

进入安全模式

hdfs dfsadmin -safemode enter

关闭安全模式

hdfs dfsadmin -safemode leave

查看安全模式

hdfs dfsadmin -safemode get

 

7,节点管理

(1), 移除DN

hdfs-site.xml文件配置移除属性

<property>
        <name>dfs.hosts.exclude</name>
        <value>/home/hadoop/aaa/includes</value>
    </property>

[$]vi /home/hadoop/aaa/includes   填入要移除的节点名，如dn3， 保存退出

强制重新加载  hdfs dfsadmin - refreshNodes

dn3节点状态为Decommission in progress 表示块正在移动  Decommissioned 移动完毕，节点可以物理下架

(2),增加DN

hdfs-site.xml文件配置增加属性

<property>
        <name>dfs.hosts</name>
        <value>/home/hadoop/bbb/includes</value>
    </property>

[$]vi /home/hadoop/bbb/includes   填入要移除的节点名，如dn3， 保存退出

启动DataNode进程  hadoop-daemon.sh start datanode

启动NodeManager进程  yarn-daemon.sh start nodemanager

强制重新加载  hdfs dfsadmin - refreshNodes

 

8, 快照

快照可以用来备份hdfs上的目录或者整个文件系统

新建快照

1）开启快照权限   hdfs dfsadmin -allowSnapshot  /tmp/snapshot

2) 指定目录中创建快照   hdfs dfs -createSnapshot /tmp/snapshot backup

查看快照

打印出快照在HDFS上的路径  hdfs  lsSnapshottablesDir  

根据上条命令打印出来的路径查看  hdfs -dfs -ls  /xxxxx/xxxxx

快照对比

hdfs dfs snapshotDiff /xxxx/xxx  backup1  backup2

删除快照

hdfs dfs -deleteSnapshot /xxxx/xxxx backup1

禁用快照

hdfs dfsadmin -disallowSnapshot  /xxx/xxx