集群状态正常时需要的jps进程＋是否需要部署到各个节点(持续更新中)

 

集群	jps进程-主机	jps进程-从机	需要在集群中每个节点输入启动命令	需要确保各个节点启动特定jps
HDFS	HistoryServer NameNode DataNode(workers文件中包含主机) SecondaryNameNode	DataNode	否	是
Yarn	NodeManager ResourceManager	NodeManager	否	是
Spark	Master Worker JobHistoryServer	Worker	否	是
Hbase	QuorumPeerMain(独立的Zookeeper) HQuorumPeer(hbase管理的Zookeeper) HRegionServer HMaster	HRegionServer	否	是
Nifi	NiFi RunNiFi	无	否	否
Zookeeper	ZooKeeperMain(启动zookeeper的客户端时才会出现) QuorumPeerMain	QuorumPeerMain	是	是
Hive	①hive --service metastore ②hiveserver2 都是 RunJar		是	否
Thrift	ThriftServer	无	否	是
Tez	无	无	否	是
Flink(单机模式)	TaskManagerRunner StandaloneSessionClusterEntrypoint	无	否	否
Flink(standalone+HA集群模式)	71344 StandaloneSessionClusterEntrypoint 81890 QuorumPeerMain 67397 ResourceManager 67621 NodeManager 73271 Jps 66797 DataNode 66364 NameNode 71775 TaskManagerRunner	3315 QuorumPeerMain 30996 Jps 29860 NodeManager 30889 TaskManagerRunner 3354 QuorumPeerMain 29691 DataNode 30494 StandaloneSessionClusterEntrypoint	否	是

 

如果自己安装zookeeper，启动及关闭先后顺序为：启动Hadoop—>启动ZooKeeper集群—>启动HBase

关闭顺序：停止HBase—>停止ZooKeeper集群—>停止Hadoop。

 

对于hive on  tez

①启动hadoop

②hdfs离开安全模式

③hive --service metastore &

④hiveserver

⑤yarn timelineserver

⑥启动tomcat

⑦启动hive客户端或者beeline客户端

 

HBase是列式数据库，既可以单机也可以集群的方式搭建，以集群的方式搭建一般建立在HDFS之上。

分布式HBase启动说明：
首先启动hadoop，然后问题就来了：zookeeper和hbase的启动顺序是什么？

1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper，启动hbase的时候会有一个HQuorumPeer进程。
2.先启动zookeeper：如果用外置的zookeeper管理hbase，则先启动zookeeper，然后启动hbase，启动后会有一个QuorumPeerMain进程。

两个进程的名称不一样：
HQuorumPeer表示hbase管理的zookeeper
QuorumPeerMain表示zookeeper独立的进程

 

#---------------------------------正常启动下各台机子应该有的进程(案例)------------------------------------------------------------

 

	台式机	笔记本
HDFS	2976 NameNode 3136 DataNode 6981 JobHistoryServer 3331 SecondaryNameNode	1822 DataNode 1961 NodeManager
Yarn	3737 NodeManager 3567 ResourceManager	无
Hbase	13122 HMaster 13330 HRegionServer	5774 HRegionServer
Spark	4325 Master 4497 Worker 4584 HistoryServer	2192 Worker
Zookeeper	9219 QuorumPeerMain	5441 QuorumPeerMain 5610 QuorumPeerMain
Hive	RunJar
Thrift	ThriftServer	ThriftServer

注意:

在还没有启动Hbase之前，jps中必须有进程QuorumPeerMain，否则不要进行下一步操作