Hadoop端口号全解析：掌握这些端口，轻松驾驭大数据集群，一文读懂常用端口号及其作用！

1. HDFS（Hadoop Distributed File System）相关端口

端口号	组件/服务	作用
8020	NameNode RPC	NameNode的远程过程调用(RPC)端口，用于处理客户端和DataNode的请求。
9870	NameNode的HTTP UI端口	用于通过Web界面查看HDFS集群的状态、配置、存储等信息。
50070	NameNode WebHDFS	NameNode的WebHDFS端口，通过HTTP协议提供对HDFS的访问。
50020	DataNode的IPC（Inter-Process Communication）服务端口	用于与NameNode进行内部通信。
9000	NameNode HTTP（非高可用）	NameNode的HTTP服务端口，用于Web界面访问（如HDFS的Web UI）。在高可用配置中，此端口可能不常用。
50010	DataNode 数据传输	用于HDFS内部的数据传输，例如DataNode与NameNode之间、DataNode与客户端之间的数据读写操作。同时，这也是DataNode的IPC（Inter-Process Communication）端口，用于接受来自NameNode或其他DataNode的命令和状态同步请求。
50075	DataNode HTTP	DataNode的Web界面端口，通常用于查看DataNode的状态和报告。但需要注意的是，这个端口并不总是默认开启的，且其Web界面可能不如NameNode的Web界面详细。
50090	Secondary NameNode Web	Secondary NameNode的Web浏览器访问端口，用于定期合并编辑日志。
8485	JournalNode 的RPC服务端口	用于与NameNode等组件通信，保障HDFS元数据的持久化存储。
8480	JournalNode 的HTTP服务端口	提供JournalNode的Web界面。
8019	ZooKeeper Failover Controller的端口	用于NameNode的高可用性（HA）配置中，与ZooKeeper集群通信以管理NameNode的自动故障转移。

• 端口号可能会根据Hadoop的配置和版本有所不同。以上列出的是Hadoop 2.x和Hadoop 3.x中的常见端口。
• Hadoop的配置文件（如core-site.xml和hdfs-site.xml）中定义了这些端口的值，可以通过修改这些配置文件来自定义端口号。
• 如果需要查看或修改这些端口，可以直接编辑Hadoop的配置文件，并使用Hadoop提供的命令行工具或Web界面进行验证。

2. YARN（Yet Another Resource Negotiator）相关端口

端口号	组件/服务	作用
8088	YARN ResourceManager Web UI	YARN集群的ResourceManager的Web UI端口，用于监控和管理集群中的资源和任务。
8032	YARN ResourceManager IPC	ResourceManager的IPC端口，用于ResourceManager与其他YARN组件（如NodeManager）之间的内部通信。
8030	ResourceManager的Scheduler组件的IPC端口	ResourceManager的Scheduler组件的IPC端口，用于处理与资源调度相关的请求。
8041	NodeManager的Web UI端口	（注意：这个端口号在官方文档中可能不常见，但通常NodeManager也会有一个用于内部通信或Web UI的端口，具体端口号可能因配置而异）：NodeManager的Web UI端口（具体端口号可能根据配置不同而有所变化），用于查看节点上的资源使用情况和正在运行的任务信息。然而，需要注意的是，并非所有版本的Hadoop或YARN配置都会默认开启NodeManager的Web UI。
（随机）	NodeManager	NodeManager的HTTP服务端口，用于执行任务并管理容器。默认情况下，使用随机端口，可以通过配置文件修改。

• 端口号可能会根据Hadoop和YARN的配置以及版本而有所不同。因此，在查看或修改端口号时，请参考具体的Hadoop和YARN配置文件（如yarn-site.xml）。
• YARN的Web UI和IPC端口对于集群的管理和监控至关重要，因此请确保这些端口在防火墙和安全组规则中是被允许的。
• 如果需要自定义端口号，可以通过修改Hadoop和YARN的配置文件来实现，并在重启集群后生效。

3. MapReduce相关端口

MapReduce作业的执行情况主要通过YARN ResourceManager的Web UI（即8088端口）来查看。虽然MapReduce本身不直接提供特定的Web UI端口，但其作业的日志和输出通常会存储在HDFS上，因此与HDFS相关的端口（如50070或9870，取决于Hadoop的版本）也可能用于间接地查看MapReduce作业的输出和日志。

4. 其他Hadoop生态组件端口

端口号	组件/服务	作用
9083	Hive Metastore	Hive Metastore服务的默认监听端口，用于存储和管理Hive的元数据。
10000	Hive JDBC	Hive JDBC服务的端口，允许通过JDBC协议连接到Hive服务。
60010	HBase Master Web UI（旧）	HBase Master的Web UI端口，用于监控和管理HBase集群的状态。
16010	HBase Master Web UI（新）	在Hadoop新版本中，HBase Master的Web UI可能使用此端口。
60030	HBase RegionServer Web UI	HBase RegionServer的Web UI管理端口，提供RegionServer的状态和性能信息。
7077	Spark Master	Spark集群中Master节点与Worker节点进行通信的端口。
8080	Spark Master Web UI	Spark Master的Web UI端口，用于监控和管理Spark作业和集群状态。
8081	Spark Worker Web UI	Spark Worker的Web UI端口，提供Worker节点的状态和性能信息。
4040	Spark Driver Web UI	Spark应用程序的Driver节点的Web UI端口，用于查看应用程序的运行状态和日志。
2181	Zookeeper	Zookeeper客户端连接的端口，用于集群管理和协调。
9092	Kafka	Kafka集群节点之间通信的RPC端口。