Hadoop系列组件端口总结

1.Hadoop

组件	进程名称	默认端口	配置项(配置文件)	说明
HDFS	NameNode	8020	fs.defaultFS(core-site.xml)	接收Client连接的RPC端口，用于获取文件系统metadata信息。
HDFS	NameNode	50070	dfs.namenode.http-address(hdfs-site.xml)	http服务端口 nameNode web UI
HDFS	NameNode	50470	dfs.namenode.https-address(hdfs-site.xm	https服务端口
HDFS	DataNode	50010	dfs.datanode.address(hdfs-site.xml)	datanode服务端口，用于数据传输
HDFS	DataNode	50075	dfs.datanode.http.address(hdfs-site.xml)	http服务端口
HDFS	DataNode	50475	dfs.datanode.https.address(hdfs-site.xml)	https服务端口
HDFS	DataNode	50020	dfs.datanode.ipc.address(hdfs-site.xml)	ipc服务的端口
HDFS	JournalNode	8485	dfs.journalnode.rpc-address(hdfs-site.xml)	JournalNode RPC服务地址和端口
HDFS	JournalNode	8480	dfs.journalnode.http-address(hdfs-site.xml)	HTTP服务
HDFS	ZKFC	8019	dfs.ha.zkfc.port(hdfs-site.xml)	ZooKeeper FailoverController，用于NN HA

注：hadoop2.x之后 没有SecondaryNamenode，Jobracker和Tasktrackers相关配置

2.YARN

组件	进程名称	默认端口	配置项(配置文件)	说明
YARN	ResourceManager	8088	yarn.resourcemanager.webapp.address(yarn-site.xml)	http服务端口
YARN	ResourceManager	8033	yarn.resourcemanager.admin.address(yarn-site.xml)	IPC
YARN	ResourceManager	8031	yarn.resourcemanager.resource-tracker.address(yarn-site.xml)	IPC
YARN	ResourceManager	8030	yarn.resourcemanager.scheduler.address(yarn-site.xml)	scheduler组件的IPC端口
YARN	ResourceManager	8032	yarn.resourcemanager.address(yarn-site.xml)	RM的applications manager(ASM)端口
YARN	NodeManager	8040	yarn.nodemanager.localizer.address(yarn-site.xml)	localizer IPC
YARN	NodeManager	8041	yarn.nodemanager.address(yarn-site.xml)	NM中container manager的端口
YARN	NodeManager	8042	yarn.nodemanager.webapp.address(yarn-site.xml)	http服务端口
YARN	JobHistory	10020	mapreduce.jobhistory.address(mapred-site.xml)	IPC
YARN	JobHistory	19888	mapreduce.jobhistory.webapp.address(mapred-site.xml)	http服务端口

3.Hive

组件	进程名称	默认端口	配置项(配置文件)	说明
Hive	MetaStore	9083	hive.metastore.uris(hive-site.xml)	MetaStore端口
Hive	HiveServer2	10000	HiveServer2 Port	HiveServer2端口

4.Hbase

组件	进程名称	默认端口	配置项(配置文件)	说明
Hbase	Master	60000	hbase.master.port	IPC
Hbase	Master	60010	hbase.master.info.port	http服务端口
Hbase	RegionServer	60020	hbase.regionserver.port	IPC
Hbase	RegionServer	60030	hbase.regionserver.info.port	http服务端口
Hbase	HQuorumPeer	2181	hbase.zookeeper.property.clientPort	HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。
Hbase	HQuorumPeer	2888	hbase.zookeeper.peerport	HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。
Hbase	HQuorumPeer	3888	hbase.zookeeper.leaderport	HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。

注：HQuorumPeer进程说明(Hbase需要依耐zookeeper)
1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper，启动hbase的时候会有一个HQuorumPeer进程。
2.先启动zookeeper：如果用外置的zookeeper管理hbase，则先启动zookeeper，然后启动hbase，启动后会有一个QuorumPeerMain进程。
两个进程的名称不一样：
HQuorumPeer表示hbase管理的zookeeper
QuorumPeerMain表示zookeeper独立的进程

5.Zookeeper

组件	进程名称	默认端口	配置项(配置文件)	说明
ZooKeeper	Server	2181	clientPort(zoo.cfg)	MetaStore端口,对cline端提供服务
ZooKeeper	Server	2888	server.x=[hostname]:nnnnn[:nnnnn]	集群内机器通讯使用（Leader监听此端口）
ZooKeeper	Server	3888	server.x=[hostname]:nnnnn[:nnnnn]	用于leader选举的。

6.Spark

组件	进程名称	默认端口	配置项(配置文件)	说明
Spark	Default Master RPC port	7077
Spark	Default Worker RPC port	7078
Spark	Default Master web UI port	18080
Spark	Default Worker web UI port	18081
Spark	History Server	18088	history.port(spark-env.sh)

说明：
apache hadoop,CDH,HDP等端口会有不一致的情况

Cloudera提供端口信息明细：
https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cdh_ports.html
https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/administration/content/hdfs-ports.html