Hadoop生态系统中各个组件运行时会使用不同的端口号进行通信,以下是一些常用的服务和它们的默认端口号:
-
Hadoop HDFS (Hadoop Distributed File System)
-
NameNode:
- Web UI:50070(Hadoop 2.x版本),9870(Hadoop 3.x版本)
- IPC通信端口:8020(用于内部节点间通信)
-
DataNode:
- 数据传输端口:50010(数据输出)、50020(数据输入)
- 心跳与块报告端口:50075
-
-
YARN (Yet Another Resource Negotiator)
-
ResourceManager (RM):
- Web UI:8088
- IPC通信端口:8030(服务端口)、8031(客户端RPC端口)、8032(应用程序管理器端口)
-
NodeManager (NM):
- 接受来自ResourceManager的心跳请求:8041
- 接收容器启动命令:8042
- Web UI:8042
-
ApplicationMaster (AM):
- RPC端口由系统自动分配
-
-
MapReduce JobHistory Server
- Web UI:19888(Hadoop 2.x版本)
-
Hadoop HttpFS
- Web UI: 14000
-
ZooKeeper
- 默认端口:2181(ZooKeeper服务器之间的选举、同步以及客户端连接)
请注意,这些是Hadoop组件的标准默认端口,实际部署过程中可以根据需要在配置文件中修改。同时,不同版本的Hadoop可能对某些端口有所调整,请以具体部署环境的实际配置为准。