Hadoop集群如何启动
1 hadoop软件安装的目录:/opt/app
有如下软件:hbase、spark-2.1.0-bin-hadoop2.4、hbconf、sqoop、hdconf、hive、zookper-3.4.6、hadoop-2.5.2、java1.8.0_121、spark-1.5.2-bin-2.5.2
集群1(分析集群)启动
依次zookper、hadoop服务、spark、azkaban
1) 启动和停止zookeeper
/opt/app/zookeeper-3.4.6/bin/zkServer.sh start(启动)
/opt/app/zookeeper-3.4.6/bin/zkServer.sh stop (停止)
/opt/app/zookeeper-3.4.6/bin/zkServer.sh status (查看状态)
注意:zookper需要在部署zookper服务器上单独启动,不能一次启动所有;
部署Zookper的服务器为奇数,其中一台为leader,其他为follower
启动成功,输入jps,出现quorumpeermain服务
2)一次性启动和停止所有机器所有其他hadoop服务
(namenode esourcemanagerdatanode odemanagerjournalnodewebappproxyserverjobhistoryserver)
/opt/app/hadoop/sbin/start-all.sh(启动)
/opt/app/hadoop/sbin/start-all.sh(停止)
注意:可以在集群中任何一台机器上运行
启动完成后,可以进去集群。输入jps,查看服务启动情况
Namenode有2个,其中1作主namenode,1个作辅namenode(Secondarynamenode)
辅助namenode上的resourcemanager通过start-all.sh可能启动不了,需要进入辅namenode上手动启动(/opt/app/hadoop/sbin/hadoop-daemon.sh startresourcemanager)
- 启动spark服务
A一次性启动所有spark服务(master和worker)
/opt/app/spark-2.1.0-bin-hadoop2.4/sbin/start-all.sh(启动所有的master和worker)
/opt/app/spark-2.1.0-bin-hadoop2.4/sbin/stop-all.sh(停止所有的master和worker)
/opt/app/spark-2.1.0-bin-hadoop2.4/sbin/start-all.sh(启动所有的master和worker)
B单独启动spark服务
/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/spark-daemon.sh start mater spark://namenode01:7077
或者/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/start-master.sh spark://namenode01:7077(启动master)
/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/start-slave.sh(启动worker) - 启动azkaban服务
/opt/app/azkaban/executor/bin/azkaban-executor-start.sh(启动Azkaban Executor Server)
/opt/app/azkaban/web/bin/azkaban-web-start.sh(启动Azkaban Web Server) - 单独启动hadoop服务
A一次性启动namenode和datanode
/opt/app/hadoop/sbin/start-dfs.sh(启动)
/opt/app/hadoop/sbin/stop-dfs.sh(停止)
B单独启动每台机器的namenode和datanode
/opt/app/hadoop/sbin/hadoop-daemon.sh start namenode(启动namenode)
/opt/app/hadoop/sbin/hadoop-daemon.sh start datanode(启动datanode)
C一次性启动resourcemanager和nodemanager
/opt/app/hadoop/sbin/start-yarn.sh(启动)
/opt/app/hadoop/sbin/stop-yarn.sh(停止)
D单独启动每台机器的resourcemanager和nodemanager
/opt/app/hadoop/sbin/yarn-daemon.sh start resourcemanager(启动resourcemanager)
/opt/app/hadoop/sbin/yarn-daemon.sh start nodemanager(启动nodemanager)
E单独启动JournalNode
/opt/app/hadoop/sbin/hadoop-daemon.sh start JournalNode(启动JournalNode)
F单独启动HistoryServer
/opt/app/hadoop/sbin/mr-jobhistory-daemon.sh start(启动HistoryServer)
G 单独启动proxyserver
/opt/app/hadoop/sbin/yarn-daemon.sh proxyserver(启动proxyserver)
注:hadoop-daemon.sh命令可以启动如下服务
namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc
/