完全分布式-集群单点启动

完全分布式–集群单点启动

记录一下自己学习hadoop时的一些知识点
集群在之前已经部署好
windows和linux的主机映射也都设置好
对应：
centos03 hadoop03 192.168.235.130
centos04 hadoop04 192.168.235.131
centos05 hadoop05 192.168.235.132

1.如果是集群的第一次启动，需要格式化NameNode

但是格式化NameNode会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到以往数据
所以，格式化NameNode之前，一定要删除data数据和log日志

[root@hadoop03 hadoop-2.5.0-cdh5.3.6]# rm -rf data/ logs/

不能忘记，集群的其他两台虚拟机也要删除data数据和log日志

删除成功后，格式化NameNode
hadoop04和hadoop05不需要格式化
centos端的防火墙也记得关

[root@hadoop03 hadoop-2.5.0-cdh5.3.6]# bin/hdfs namenode -format

2.在hadoop03上启动NameNode

[root@hadoop03 hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.sh start namenode

查看此时进程

[root@hadoop03 hadoop-2.5.0-cdh5.3.6]# jps
5337 NameNode
5406 Jps

3.启动DataNode

[root@hadoop03 hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/module/hadoop-2.5.0-cdh5.3.6/logs/hadoop-root-datanode-hadoop03.out

查看此时进程

[root@hadoop03 hadoop-2.5.0-cdh5.3.6]# jps
5432 DataNode
5337 NameNode
5514 Jps

整个集群只有hadoop03一个namenode
hadoop04和hadoop05查看进程时没有namenode

[root@hadoop04 hadoop-2.5.0-cdh5.3.6]# jps
5815 DataNode
6542 Jps

[root@hadoop05 hadoop-2.5.0-cdh5.3.6]# jps
5982 Jps
5311 DataNode

可以通过外部连接HDFS来检验是否启动成功

启动成功