启动linux 集群中大数据组件的流程：zookeeper、hadoop、yarn 、hive、hbase

 

1 同步时间：ntpdate time1.aliyun.com（前提是在安装linux的时候，要配置time1.aliyun.com）

2 启动zookeeper：启动QuorumPeerMain 进程
（1）查看zk的状态：./ssh_all_zookeeper.sh /usr/local/zookeeper/bin/zkServer.sh start
（2）停止zk:./ssh_all_zookeeper.sh /usr/local/zookeeper/bin/zkServer.sh stop
（3） 启动zk:./ssh_all_zookeeper.sh /usr/local/zookeeper/bin/zkServer.sh start
（4）启动zk之后，用jps查看：显示QuorumPeerMain 进程

3 启动hadoop：需要启动三个进程，即：节点服务（namenode和datanode）、name的元数据备份服务（journalnode）、namenode的ha服务（DFSZKFailoverController）
（1）节点服务：
    启动namenode: hadoop-daemon.sh start namenode（需要分别在两台namenode节点上操作）
    启动datanode: hadoop-daemons.sh start datanode(在namenode的active节点上操作）
（2）namenode的ha服务：namenode上启动zkfc
    hadoop-daemon.sh start zkfc （每台namenode都要启动）
（3）启动name的元数据备份服务
    hadoop-daemon.sh start journalnode (每台namenode上都要执行)
（4）从namenode同步主namenode的信息：（可选）
    hadoop namenode -bootstrapStandby

4 启动yarn：
（1）主节点启动：resourceManager  从节点启动：nodeManager
    start-yarn.sh
（2）从节点启动resource Manager
    yarn-daemon.sh start resourcemanager
（2）启动yarn的日志代理服务(在resourceManager的active节点上执行下面命令)
    yarn-daemon.sh start proxyserver
（3）启动MR的job job history服务(在resourceManager的active节点上执行下面命令)
    mr-jobhistory-daemon.sh start historyserver 

5 启动hbase（主节点：显示HMaster进程，从节点显示：HRegionserver进程）
    start-hbase.sh（在操作机上执行即可）
6 启动hive：
（1）启动mateStore服务
    查看meta是否启动：ps -aux | grep metastore
           nohup hive --service metastore > /dev/null 2>&1 &
（2）启动hive client
           hive

6 停止集群：
#第一步：在nn1上，停止所有
    stop-all.sh
#第二步：在nn1上，停止MR的jobhistory服务
    mr-jobhistory-daemon.sh stop historyserver 
#第三步：在nn2上，停止resourcemanager，用于停止yarn的HA
    yarn-daemon.sh stop resourcemanager
#第四步：停止zookeeper
    ./ssh_all_zookeeper.sh /usr/local/zookeeper/bin/zkServer.sh stop
注意：
在执行stop-all.sh 时，不会停止yarn的HA、historyserver、zookeeper。
historyserver不会停止因为它是mapreducer程序使用的，所以hadoop全部停止时不会去操作。

 

以上步骤都做完之后，在我的个人的hdfs的nameNode上的java进程如下：（查看java进程用jps）

集群配置：5个节点（nn1,nn2,s1,s2,s3）

nn1 和nn2: hadoop的name node 节点。并且是yarn的resource manager节点

s1、s2、s3: hadoop的data node 节点。并且是yarn的node manager 节点

nn1 nn2 s1: 安装了zookeeper服务

注：zookeeper开启的进程显示为：QuorumPeerMain，那台机子上装了zookeeper，才会显示这个进程。

在hadoop的datanode上的进程如下：