Hadoop日常运维

1、Hadoop节点状态报告
bin/hadoop dfsadmin -report

2、Hadoop文件系统健康检查
bin/hadoop fsck /

3、列出文件目录
bin/hadoop fs -ls /

4、显示文件大小
bin/hadoop fs -du /
bin/hadoop fs -dus /

5、复制文件到本地
bin/hadoop fs -get /1.txt .

6、复制文件到远程
bin/hadoop fs -put /1.txt /xxx/

7、格式化一个新的文件系统
bin/hadoop namenode -format

8、创建目录
bin/hadoop fs -mkdir /foodir

9、删除目录
bin/hadoop fs -rmr /foodir

10、查看文件
bin/hadoop fs -cat /foodir/myfile.txt

以下摘自”Hadoop权威指南”

向集群添加新节点的步骤如下。
1、将新节点的网络地址添加到include中。
2、运行以下指令，更新namenode的经过审核的一系列datanode集合。
% hadoop dfsadmin -refreshNodes
3、以新节点更新slaves文件。这样的话，Hadoop控制脚本会将新节点包括在未来操作之中。
4、启动新的datanode。
5、重启MapReduce集群。。
6、检查新的datanode和tasktracker是否都出现在网页界面中。

从集群中移除节点的步骤如下。
l、将待解除节点的网络地址舔加到exclude文件中。不更新include文件
2、重启MapReduce集群，以终止在待解除节点上运行的tasktracker
3、执行以下指令，使用一系列新的审核过的datanode来更新namenode设置;
% hadoop dfsadmin refreshNodes
4、转到网页界面，查看待解除datanode的管理状态是否已经变为
“Decommission In Progress’。将这些datanode的块复制到其他datanode中。
5、当所有datanode的状志变为‘Decommissioned’时，表明所有块都已经复制完毕。关闭已经解除的节点。
6、从include文件中移除这些节点，并运行以下命令：
% hadoop dfsadmin -refreshNodes
7、从slaves文件中移除节点。