启动Hadoop集群

有两种方式启动集群：分步启动和集中统一启动。

以下执行环境是在一个有2个节点的集群当中，namenode：sparkmaster，datanode：sparkmaster和sparkworker1

在namenode上统一启动整个集群的方法

首先，要在$YARN_HOME/etc/hadoop/下新建几个文件：1.slaves，里面写上全部的datanode的hostname；2. allnodes，里面写上整个集群的hostname

在namenode上

[ root@sparkmaster sbin]# pwd

/opt/hadoop-2.6.0/sbin

[ root@sparkmaster sbin]# ./start-dfs.sh   <--启动NameNode/SecondaryNode进程，以及整个集群的DataNode进程

[ root@sparkmaster sbin]# ./yarn-daemon.sh start resourcemanager

[ root@sparkmaster sbin]# ./yarn-daemons.sh --hosts allnodes start nodemanager

可以在每启动一步之后运行jps看是启动了哪些进程。运行完上述命令之后，整个集群就启动了，打开 http://sparkmaster:8088/cluster/nodes可以看到node情况；打开 http://sparkmaster:50070可以监控整个集群包括hdfs

分步启动

首先，在namenode上启动dfs，nodemanager和resourcemanager

[ root@sparkmaster sbin]# pwd

/opt/hadoop-2.6.0/sbin

1. 启动dfs。[root@sparkmaster sbin]# ./start-dfs.sh   <--启动NameNode，SecondaryNameNode，DataNode
2. 启动nodemanager。[root@sparkmaster sbin]# ./yarn-daemon.sh start nodemanager
3. 启动resourcemanager。[root@sparkmaster sbin]# ./yarn-daemon.sh start resourcemanager

查看是否都启动成功：

[ root@sparkmaster sbin]# jps

3221 NodeManager

2767 NameNode

3784 Jps

3560 ResourceManager

3063 SecondaryNameNode

2859 DataNode

[ root@sparkmaster sbin]# pwd

/opt/hadoop-2.6.0/sbin

然后，登陆每一台datanode，启动nodemanager和datanode

1. [root@sparkworker1 sbin]# ./yarn-daemon.sh start nodemanager
2. [ root@sparkworker1 sbin]# ./hadoop-daemon.sh --script hdfs start datanode

namenode界面： http://namenode:50070  通过访问此页面，可以查看cluster相关情况，点击 Browse the filesystem可以查看hdfs上面的文件和文件夹具体情况

查看cluster里面所有node界面： http://namenode:8088/cluster/nodes，如果在这个界面看不到node，则可能nodemanager没有启动，登陆相应node，执行yarn-daemon.sh start nodemanager

resource manager界面： http://namenode:8088/cluster