Hadoop/HBase/HDFS 常用默认端口总结列举,以及作用

SEO污染者CSNeN

已于 2024-10-11 09:10:18 修改

阅读量4k

点赞数 21

分类专栏：个人原创文章标签： hadoop hbase hdfs

于 2024-10-11 09:07:30 首次发布

本文链接：https://blog.csdn.net/JonSnowX/article/details/142844251

版权

4 篇文章

订阅专栏

必须要吐槽一句, 光看这些端口, 就能发现Hadoop设计的复杂性在2020s的今天显得有点格格不入🤯😶, 如今,
如果没有历史包袱, 如果非必要, 还是选择同类替换的应用对需求进行专项专用吧

`Hadoop`

在这里插入图片描述

NameNode端口（默认为50070）：用于Web界面和Hadoop分布式文件系统（HDFS）的元数据操作。
DataNode端口（默认为50075）：用于DataNode与其他Hadoop节点进行通信，传输数据块。
Secondary NameNode端口（默认为50090）：用于Secondary NameNode与NameNode进行通信，协助处理元数据备份和检查点操作。
ResourceManager端口（默认为8088）：用于ResourceManager的Web界面和资源管理器的调度和监控。
NodeManager端口（默认为8042）：用于NodeManager与ResourceManager进行通信，报告节点的资源使用情况和接收任务。
JobHistoryServer端口（默认为19888）：用于JobHistoryServer的Web界面和存储作业历史信息。
HDFS通信端口（默认为8020）：用于HDFS客户端与NameNode进行通信，执行文件系统操作。
YARN应用程序管理器端口（默认为8032）：用于应用程序管理器与ResourceManager进行通信，提交和管理应用程序。
YARN应用程序管理器调度器端口（默认为8030）：用于应用程序管理器与ResourceManager进行通信，获取集群资源。
YARN节点管理器本地化端口（默认为8040）：用于节点管理器与本地化服务进行通信，获取应用程序所需的资源。

在这里插入图片描述

HBase使用以下端口，每个端口有不同的作用：

2181：ZooKeeper端口
- 用于HBase与ZooKeeper之间的通信和协调。
- HBase依赖于ZooKeeper来管理集群的状态和元数据信息。
16000：HMaster端口
- 用于HBase主节点（HMaster）与Region服务器（RegionServer）之间的通信。
- HMaster负责管理HBase集群的元数据和协调RegionServer的工作。
16010：HBase网页控制台端口
- 用于访问HBase的网页控制台（HBase Web UI）。
- 通过该端口可以查看HBase集群的状态、表的信息、RegionServer的指标等。
60000-60020：RegionServer端口范围
- 每个RegionServer在该范围内占用一个端口。
- 用于处理客户端请求，包括读写操作、Region的分裂和合并等。
9090：Thrift服务器端口
- 用于通过Thrift接口访问HBase集群。
- Thrift是一种跨语言的远程过程调用（RPC）框架，可以使不同语言的应用程序与HBase进行交互。

9000/8020：HDFS通信端口
- 用于HDFS客户端与NameNode之间的通信。
- 客户端使用该端口与NameNode交互，包括文件系统操作（如读、写、删除文件）和元数据操作（如创建、删除目录）等。
50010：数据节点传输端口
- 用于数据节点（DataNode）之间的数据传输。
- 数据节点之间通过该端口进行数据块的复制和传输。
50020：数据节点元数据端口
- 用于数据节点与NameNode之间的元数据交互。
- 数据节点通过该端口向NameNode报告块的信息、心跳和状态。
50070：NameNode网页控制台端口
- 用于访问HDFS的网页控制台（NameNode Web UI）。
- 通过该端口可以查看HDFS集群的状态、文件系统的信息、块的分布情况等。
50475：安全通信端口
- 用于安全模式下的HDFS通信。
- 当HDFS启用了安全模式（使用Kerberos等认证机制）时，客户端与NameNode之间的通信将通过该端口进行加密和认证。