hadoop一些维护命令使用收集

 

 

1.      启动相关

#在slave节点上启动datanode和tasktracker hadoop-daemon.sh start datanode hadoop-daemon.sh start tasktracker

 

 

2.      优化相关

#平衡数据 start-balancer.sh

 

 

3.      Dfsadmin相关用法

#更新节点配置文件后使生效，如移除或增加节点 hadoop dfsadmin –refreshNodes   #用这个命令可以快速定位出哪些节点down掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况 hadoop dfsadmin –report   #安全模式 hadoop dfsadmin  -safemode enter | leave | get | wait   #设置检查点，在安全模式下运行 hadoop dfsadmin -saveNamespace

 

 

4.      Fsck相关用法

#查看某个文件放在哪几个节点上，定们机架的位置： hadoop@server1:~$ hadoop fsck  /user/lihui_luo/softs/hadoop.tar.gz -files -blocks -racks /user/lihui_luo/softs/hadoop.tar.gz 44722229 bytes, 1 block(s):  OK 0.                                 blk_-7730007861469543539_11188 len=44722229 repl=3 [/default-rack/192.168.42.21:50010, /default-rack/192.168.42.22:50010, /default-rack/192.168.42.23:50010]     #如果有损坏的文件，使用下面命令删除 hadoop fsck --delete

 

 

5.      Namenode操作相关

#Hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]   #hadoop初始格式化 hadoop nameNode –format   #

 

6.      备份恢复升级

#升级出现错误：Incompatible build versions，namenode和datanode版本不一致，可能的解决方法如下，或者用master的安装配置文件分发到所有slaves master上执行：hadoop namenode -upgrade slave上执行：hadoop datanode –upgrade   #备份之前设置检查点，使将edit内容写入fsimage #先进行安全模式，停止写入内容到edit hadoop dfsadmin  -safemode enter hadoop dfsadmin  -saveNamespace hadoop dfsadmin  -safemode leave   #修改复制备份数，递归将目录/下的文件备份数改为1 #dfs.replication参数只是对写入时对生效 hadoop fs -setrep -R 1 /