Ports :
表 1.3 Hadoop 端口对照表
作用 | Hadoop 2.x 端口 | Hadoop 3.x 端口 | 描述 |
---|---|---|---|
NameNode HTTP Web UI | 50070 | 9870 | 提供NameNode的状态和信息的Web用户界面。 |
NameNode IPC | 8020 | 9820 | NameNode与客户端之间的IPC通信端口。 |
NameNode文件系统元数据编辑器 | 50470 | 9869 | 允许编辑HDFS文件系统元数据的端口。 |
DataNode传输 | 50010 | 9866 | DataNode之间进行块传输的端口。 |
DataNode IPC | 50020 | 9867 | DataNode与客户端和NameNode之间的IPC通信端口。 |
Secondary NameNode HTTP Web UI | 50090 | 9868 | 提供Secondary NameNode的状态和信息的Web用户界面。 |
ResourceManager Web UI | 8088 | 8088 | 提供ResourceManager的状态和信息的Web用户界面。 |
ResourceManager调度器 | 8032 | 8030 | ResourceManager的调度器监听端口,接收应用程序请求。 |
ResourceManager应用程序主节点RPC | 8031 | 8031 | ApplicationMaster与ResourceManager之间的RPC通信端口。 |
JobHistoryServer Web UI | 19888 | 19888 | 提供JobHistoryServer的状态和信息的Web用户界面。 |
JobHistoryServer RPC | 10020 | 10020 | JobHistoryServer与客户端之间的RPC通信端口。 |
HDFS数据传输 | 9000 | 9000 | HDFS数据传输使用的默认端口。 |
YARN应用程序管理器RPC | 8033 | 8033 | 应用程序管理器与ResourceManager之间的RPC通信端口。 |
YARN应用程序管理器Web UI | - | 8089 | 提供应用程序管理器的状态和信息的Web用户界面。 |
YARN节点管理器Web UI | - | 8042 | 提供节点管理器的状态和信息的Web用户界面。 |
YARN节点管理器资源监视器 | - | 8041 | 节点管理器资源监视器的监听端口。 |
补充知识 :
在Hadoop中,IPC(Inter-Process Communication)、Web UI(Web User Interface)和RPC(Remote Procedure Call)是用于不同目的的通信机制。
- IPC(Inter-Process Communication):
IPC是Hadoop集群内部各个组件之间进行通信的机制。它允许不同的Hadoop组件(如客户端、NameNode、DataNode、ResourceManager等)通过网络进行相互通信和交互。IPC用于在Hadoop集群内传输数据、调用方法和执行命令等。在Hadoop配置中,IPC通信端口用于定义各个组件之间的通信接口。 - Web UI(Web User Interface):
Web UI提供了基于Web的用户界面,用于监视和管理Hadoop集群的各个组件的状态和信息。通过Web UI,管理员和用户可以查看集群的健康状态、运行中的作业、资源使用情况等。不同的Hadoop组件(如NameNode、ResourceManager、JobHistoryServer等)都有相应的Web UI,它们通过提供HTTP或HTTPS服务来呈现集群信息。 - RPC(Remote Procedure Call):
RPC是一种用于远程通信的协议,它允许不同的程序在网络上相互调用函数或方法,就像本地调用一样。在Hadoop中,RPC用于不同组件之间的远程通信,如客户端与NameNode之间、ApplicationMaster与ResourceManager之间等。通过RPC,Hadoop组件可以向其他组件发送请求并接收响应,以实现功能的远程调用。
总结:
- IPC是用于在Hadoop集群内部组件之间进行通信的机制。
- Web UI提供了基于Web的用户界面,用于监视和管理集群的状态和信息。
- RPC是一种远程调用协议,用于不同组件之间的远程通信。