Hadoop 端口对照表

Ports :


表 1.3 Hadoop 端口对照表

作用Hadoop 2.x 端口Hadoop 3.x 端口描述
NameNode HTTP Web UI500709870提供NameNode的状态和信息的Web用户界面。
NameNode IPC80209820NameNode与客户端之间的IPC通信端口。
NameNode文件系统元数据编辑器504709869允许编辑HDFS文件系统元数据的端口。
DataNode传输500109866DataNode之间进行块传输的端口。
DataNode IPC500209867DataNode与客户端和NameNode之间的IPC通信端口。
Secondary NameNode HTTP Web UI500909868提供Secondary NameNode的状态和信息的Web用户界面。
ResourceManager Web UI80888088提供ResourceManager的状态和信息的Web用户界面。
ResourceManager调度器80328030ResourceManager的调度器监听端口,接收应用程序请求。
ResourceManager应用程序主节点RPC80318031ApplicationMaster与ResourceManager之间的RPC通信端口。
JobHistoryServer Web UI1988819888提供JobHistoryServer的状态和信息的Web用户界面。
JobHistoryServer RPC1002010020JobHistoryServer与客户端之间的RPC通信端口。
HDFS数据传输90009000HDFS数据传输使用的默认端口。
YARN应用程序管理器RPC80338033应用程序管理器与ResourceManager之间的RPC通信端口。
YARN应用程序管理器Web UI-8089提供应用程序管理器的状态和信息的Web用户界面。
YARN节点管理器Web UI-8042提供节点管理器的状态和信息的Web用户界面。
YARN节点管理器资源监视器-8041节点管理器资源监视器的监听端口。

补充知识 :

​ 在Hadoop中,IPC(Inter-Process Communication)、Web UI(Web User Interface)和RPC(Remote Procedure Call)是用于不同目的的通信机制。

  1. IPC(Inter-Process Communication)
    IPC是Hadoop集群内部各个组件之间进行通信的机制。它允许不同的Hadoop组件(如客户端、NameNode、DataNode、ResourceManager等)通过网络进行相互通信和交互。IPC用于在Hadoop集群内传输数据、调用方法和执行命令等。在Hadoop配置中,IPC通信端口用于定义各个组件之间的通信接口。
  2. Web UI(Web User Interface)
    Web UI提供了基于Web的用户界面,用于监视和管理Hadoop集群的各个组件的状态和信息。通过Web UI,管理员和用户可以查看集群的健康状态、运行中的作业、资源使用情况等。不同的Hadoop组件(如NameNode、ResourceManager、JobHistoryServer等)都有相应的Web UI,它们通过提供HTTP或HTTPS服务来呈现集群信息。
  3. RPC(Remote Procedure Call)
    RPC是一种用于远程通信的协议,它允许不同的程序在网络上相互调用函数或方法,就像本地调用一样。在Hadoop中,RPC用于不同组件之间的远程通信,如客户端与NameNode之间、ApplicationMaster与ResourceManager之间等。通过RPC,Hadoop组件可以向其他组件发送请求并接收响应,以实现功能的远程调用。

总结:

  • IPC是用于在Hadoop集群内部组件之间进行通信的机制。
  • Web UI提供了基于Web的用户界面,用于监视和管理集群的状态和信息。
  • RPC是一种远程调用协议,用于不同组件之间的远程通信。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值