HADOOP 笔记

[i][b]A.HADOOP 启动和停止[/b][/i]
第一次启动Hadoop,必须先格式化namenode
#cd $HADOOP_HOME /bin
#hadoop namenode –format

启动Hadoop
#cd $HADOOP_HOME/bin
#./start-all.sh
如果启动过程，报错safemode相关的Exception
执行命令
# hadoop dfsadmin -safemode leave
然后再启动Hadoop

停止Hadoop
cd $HADOOP_HOME/bin
#./stop-all.sh

[i][b]B.增加节点[/b][/i]
1.修改新节点的/etc/hosts，增加namenode的主机名与IP
2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host
3.在新节点的机器上，启动服务
#cd $HADOOP_HOME/bin
#./hadoop-daemon.sh start datanode
#./hadoop-daemon.sh start tasktracker
4.在NameNode节点执行
# hadoop dfsadmin -refreshNodes
5.均衡block
在新节点上执行(如果是增加多个节点，只需在一个新节点)
#cd $HADOOP_HOME/bin
# ./start-balancer.sh

[i][b]C.删除节点[/b][/i]
在hadoop0上修改conf/hdfs-site.xml文件
<property>
　　<name>dfs.hosts.exclude</name>
　　<value>/usr/local/hadoop/conf/excludes</value>
</property>
确定要下架的机器
dfs.hosts.exclude定义的文件内容为,每个需要下线的机器，一行一个。
强制重新加载配置
#hadoop dfsadmin -refreshNodes
关闭节点
hadoop dfsadmin -report
可以查看到现在集群上连接的节点
正在执行Decommission，会显示：
Decommission Status : Decommission in progress
执行完毕后，会显示：
Decommission Status : Decommissioned
再次编辑excludes文件
一旦完成了机器下架，它们就可以从excludes文件移除了
登录要下架的机器，会发现DataNode进程没有了，但是TaskTracker依然存在，需要手工处理一下
[i][b]
D.常用命令[/b][/i]
hadoop job –list #列出正在运行的Job

hadoop job –kill <job_id> #kill job

hadoop fsck / #检查HDFS块状态，是否损坏

hadoop fsck / -delete #检查HDFS块状态，删除损坏块

hadoop dfsadmin –report #检查HDFS状态，包括DN信息

hadoop dfsadmin –safemode enter | leave