Hadoop集群如何启动

Hadoop集群如何启动
1 hadoop软件安装的目录：/opt/app
有如下软件：hbase、spark-2.1.0-bin-hadoop2.4、hbconf、sqoop、hdconf、hive、zookper-3.4.6、hadoop-2.5.2、java1.8.0_121、spark-1.5.2-bin-2.5.2

集群1（分析集群）启动
依次zookper、hadoop服务、spark、azkaban
1） 启动和停止zookeeper
/opt/app/zookeeper-3.4.6/bin/zkServer.sh start（启动）
/opt/app/zookeeper-3.4.6/bin/zkServer.sh stop （停止）
/opt/app/zookeeper-3.4.6/bin/zkServer.sh status （查看状态）

注意：zookper需要在部署zookper服务器上单独启动，不能一次启动所有；
部署Zookper的服务器为奇数，其中一台为leader，其他为follower
启动成功，输入jps，出现quorumpeermain服务

2）一次性启动和停止所有机器所有其他hadoop服务
（namenode esourcemanagerdatanode odemanagerjournalnodewebappproxyserverjobhistoryserver）
/opt/app/hadoop/sbin/start-all.sh（启动）
/opt/app/hadoop/sbin/start-all.sh（停止）
注意：可以在集群中任何一台机器上运行
启动完成后，可以进去集群。输入jps，查看服务启动情况
Namenode有2个，其中1作主namenode，1个作辅namenode（Secondarynamenode）
辅助namenode上的resourcemanager通过start-all.sh可能启动不了，需要进入辅namenode上手动启动（/opt/app/hadoop/sbin/hadoop-daemon.sh startresourcemanager）

2. 启动spark服务
   A一次性启动所有spark服务（master和worker）
   /opt/app/spark-2.1.0-bin-hadoop2.4/sbin/start-all.sh（启动所有的master和worker）
   /opt/app/spark-2.1.0-bin-hadoop2.4/sbin/stop-all.sh（停止所有的master和worker）
   /opt/app/spark-2.1.0-bin-hadoop2.4/sbin/start-all.sh（启动所有的master和worker）
   B单独启动spark服务
   /opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/spark-daemon.sh start mater spark://namenode01:7077
   或者/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/start-master.sh spark://namenode01:7077（启动master）
   /opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/start-slave.sh（启动worker）
3. 启动azkaban服务
   /opt/app/azkaban/executor/bin/azkaban-executor-start.sh（启动Azkaban Executor Server）
   /opt/app/azkaban/web/bin/azkaban-web-start.sh（启动Azkaban Web Server）
4. 单独启动hadoop服务
   A一次性启动namenode和datanode
   /opt/app/hadoop/sbin/start-dfs.sh（启动）
   /opt/app/hadoop/sbin/stop-dfs.sh（停止）
   B单独启动每台机器的namenode和datanode
   /opt/app/hadoop/sbin/hadoop-daemon.sh start namenode（启动namenode）
   /opt/app/hadoop/sbin/hadoop-daemon.sh start datanode（启动datanode）
   C一次性启动resourcemanager和nodemanager
   /opt/app/hadoop/sbin/start-yarn.sh（启动）
   /opt/app/hadoop/sbin/stop-yarn.sh（停止）
   D单独启动每台机器的resourcemanager和nodemanager
   /opt/app/hadoop/sbin/yarn-daemon.sh start resourcemanager（启动resourcemanager）
   /opt/app/hadoop/sbin/yarn-daemon.sh start nodemanager（启动nodemanager）
   E单独启动JournalNode
   /opt/app/hadoop/sbin/hadoop-daemon.sh start JournalNode（启动JournalNode）
   F单独启动HistoryServer
   /opt/app/hadoop/sbin/mr-jobhistory-daemon.sh start（启动HistoryServer）
   G 单独启动proxyserver
   /opt/app/hadoop/sbin/yarn-daemon.sh proxyserver（启动proxyserver）
   注：hadoop-daemon.sh命令可以启动如下服务
   namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc

/