Hadoop默认端口说明

最新推荐文章于 2024-10-11 09:07:30 发布
最新推荐文章于 2024-10-11 09:07:30 发布
阅读量4.6k 收藏 2
点赞数
分类专栏： 大数据 文章标签： 大数据 hadoop




Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。



这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。



组件 Daemon
端口 配置 说明

HDFS DataNode
50010 dfs.datanode.address
datanode服务端口，用于数据传输

  50075
dfs.datanode.http.address http服务的端口

  50475
dfs.datanode.https.address https服务的端口

  50020
dfs.datanode.ipc.address ipc服务的端口

  NameNode
50070 dfs.namenode.http-address
http服务的端口

  50470
dfs.namenode.https-address https服务的端口

  8020
fs.defaultFS 接收Client连接的RPC端口，用于获取文件系统metadata信息。

  journalnode
8485 dfs.journalnode.rpc-address
RPC服务

  8480
dfs.journalnode.http-address HTTP服务

  ZKFC
8019 dfs.ha.zkfc.port
ZooKeeper FailoverController，用于NN HA

YARN ResourceManager
8032 yarn.resourcemanager.address
RM的applications manager(ASM)端口

  8030
yarn.resourcemanager.scheduler.address
scheduler组件的IPC端口

  8031
yarn.resourcemanager.resource-tracker.address
IPC

  8033
yarn.resourcemanager.admin.address IPC

  8088
yarn.resourcemanager.webapp.address http服务端口

  NodeManager
8040 yarn.nodemanager.localizer.address
localizer IPC

  8042
yarn.nodemanager.webapp.address http服务端口

  8041
yarn.nodemanager.address NM中container manager的端口

  JobHistory Server
10020 mapreduce.jobhistory.address
IPC

  19888
mapreduce.jobhistory.webapp.address http服务端口

HBase Master
60000 hbase.master.port
IPC

  60010
hbase.master.info.port http服务端口

  RegionServer
60020 hbase.regionserver.port
IPC

  60030
hbase.regionserver.info.port http服务端口

  HQuorumPeer
2181 hbase.zookeeper.property.clientPort
HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。

  2888
hbase.zookeeper.peerport HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。

  3888
hbase.zookeeper.leaderport HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。

Hive Metastore
9083 /etc/default/hive-metastore中export PORT=<port>来更新默认端口
 

  HiveServer
10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口
 


ZooKeeper Server 2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port> 对客户端提供服务的端口
  2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 follower用来连接到leader，只在leader上监听该端口。
  3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 用于leader选举的。只在electionAlg是1,2或3(默认)时需要。
所有端口协议均基于TCP。


对于存在Web UI（HTTP服务）的所有hadoop daemon，有如下url：


/logs
日志文件列表，用于下载和查看


/logLevel
允许你设定log4j的日志记录级别，类似于hadoop daemonlog


/stacks
所有线程的stack trace，对于debug很有帮助


/jmx
服务端的Metrics，以JSON格式输出。


/jmx?qry=Hadoop:*会返回所有hadoop相关指标。
/jmx?get=MXBeanName::AttributeName 查询指定bean指定属性的值，例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId会返回ClusterId。
这个请求的处理类：org.apache.hadoop.jmx.JMXJsonServlet


而特定的Daemon又有特定的URL路径特定相应信息。


NameNode:http://:50070/


/dfshealth.jsp
HDFS信息页面，其中有链接可以查看文件系统


/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)
显示DEAD或LIVE状态的datanode


/fsck
运行fsck命令，不推荐在集群繁忙时使用！


DataNode:http://:50075/


/blockScannerReport

每个datanode都会指定间隔验证块信息


///

端口 用途
9000 fs.defaultFS，如：hdfs://172.25.40.171:9000
9001 dfs.namenode.rpc-address，DataNode会连接这个端口
50070 dfs.namenode.http-address
50470 dfs.namenode.https-address
50100 dfs.namenode.backup.address
50105 dfs.namenode.backup.http-address
50090 dfs.namenode.secondary.http-address，如：172.25.39.166:50090
50091 dfs.namenode.secondary.https-address，如：172.25.39.166:50091
50020 dfs.datanode.ipc.address
50075 dfs.datanode.http.address
50475 dfs.datanode.https.address
50010 dfs.datanode.address，DataNode的数据传输端口
8480 dfs.journalnode.rpc-address
8481 dfs.journalnode.https-address
8032 yarn.resourcemanager.address
8088 yarn.resourcemanager.webapp.address，YARN的http端口
8090 yarn.resourcemanager.webapp.https.address
8030 yarn.resourcemanager.scheduler.address
8031 yarn.resourcemanager.resource-tracker.address
8033 yarn.resourcemanager.admin.address
8042 yarn.nodemanager.webapp.address
8040 yarn.nodemanager.localizer.address
8188 yarn.timeline-service.webapp.address
10020 mapreduce.jobhistory.address
19888 mapreduce.jobhistory.webapp.address
2888 ZooKeeper，如果是Leader，用来监听Follower的连接
3888 ZooKeeper，用于Leader选举
2181 ZooKeeper，用来监听客户端的连接
60010 hbase.master.info.port，HMaster的http端口
60000 hbase.master.port，HMaster的RPC端口
60030 hbase.regionserver.info.port，HRegionServer的http端口
60020 hbase.regionserver.port，HRegionServer的RPC端口
8080 hbase.rest.port，HBase REST server的端口
10000 hive.server2.thrift.port
9083 hive.metastore.uris

其中最常用的应该是50070和8088了，WEB界面中监控hdfs:
http://ip:50070/
WEB界面中监控任务执行状况：
http://ip:8088/


热情的蘑菇
关注
专栏目录
Hadoop默认端口清单-防火墙申请使用
11-27
### Hadoop默认端口清单详解 #### Hadoop概述 Hadoop是一个开源软件框架，用于分布式存储和处理大型数据集。其核心组件包括HDFS（Hadoop Distributed File System）、MapReduce和YARN（Yet Another Resource ...
高可用hadoop集群搭建
dontlikerabbit的博客
03-21 442
准备工作 安装3台centos7 服务器 配置主机名字hd01\hd02\hd03 hostnamectl set-hostname hd01 查询地址 ip addr 连接xshell：填写名称:hostname 主机：ip地址 用户身份验证 可以向xshell窗口拖拽文件： yum -y install lrzsz hostname和ip地址形成映射： vi /etc/hosts 192.168.181.131 hd01 192.168.181.132 hd02 192.168.18
Hadoop/HBase/HDFS 常用默认端口总结列举,以及作用
最新发布
JonSnowX的博客
10-11 959
必须要吐槽一句, 光看这些端口, 就能发现Hadoop设计的复杂性在2020s的今天显得有点格格不入, 如今, 如果没有历史包袱,如果非必要, 还是选择同类替换的应用对需求进行专项专用吧。节点管理器本地化端口（默认为8040）：用于节点管理器与本地化服务进行通信，获取应用程序所需的资源。应用程序管理器调度器端口（默认为8030）：用于应用程序管理器与。应用程序管理器端口（默认为8032）：用于应用程序管理器与。端口（默认为50070）：用于Web界面和。通信端口（默认为8020）：用于。
hadoop常用的端口号
星空下的那个人影
04-16 2880
dfs.namenode.http-address:50070 dfs.datanode.http-address:50075 SecondaryNamenode:50090 dfs.datanode.address:50090 fs.defaultFS:8020或者9000 yarn.resourcemanager.webapp.address:8088 历史服务器web访问端口:19888
Hadoop 3.x 笔记（配置、命令、脚本、重要图示、代码实现）
ZZay's
03-30 2714
Hadoop 3.x 笔记 作者： Zzay 目的： 本文章记录 hadoop 3.x 使用过程中常用的配置、命令、脚本、重要图示、实现代码，以方便未来查看使用。 1. 常用配置 1.1 端口号 以下是Hadoop 3.x常用的端口号。 NameNode HTTP UI 端口：9870 NameNode 内部通信端口：8020/9000/9820 Secondary NameNode：9868 YARN 查看执行任务端口（ResourceManager）：8088 历史服务器通信端口（jobHi
hadoop单节点配置
ask_baidu的博客
07-15 542
hadoop单节点配置
Hadoop默认配置文件
09-07
1. **文件系统**：定义了Hadoop默认的文件系统（如hdfs://localhost:9000），以及文件操作的缓冲区大小、文件权限等。 2. **日志管理**：配置日志级别、日志路径和日志聚合策略。 3. **命名空间**：包括Hadoop元数据...
hadoop常用端口
03-15
在Hadoop生态系统中，端口配置对于集群的正常运行至关重要，因为它们决定了各个组件之间的通信方式。本文将详细解析Hadoop中常用的端口及其配置，包括HDFS、MapReduce以及其他的次要服务端口。 首先，我们关注HDFS...
hadoop安装部署说明文档
12-26
在`etc/hadoop/core-site.xml`中配置默认文件系统为HDFS，`etc/hadoop/hdfs-site.xml`中配置副本数量等参数。 5. **格式化NameNode**：首次安装时需执行`hdfs namenode -format`。 6. **启动Hadoop**：依次启动...
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
10-29
端口 作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode....
Hadoop：namenode访问端口2.x默认50070与3.x默认9870
好刹那的专栏
01-10 8851
Hadoop2.x的namenode界面访问端口默认是：50070 Hadoop3.x的namenode界面访问端口默认是：9870 通过修改hdfs-site.xml中dfs.namenode.http-address参数来修改： cd $HADOOP_HOME vi etc/hadoop/hdfs-site.xml ...
Hadoop安全基线
个人博客
12-28 2301
Hadoop安全基线 访问控制 1.高危-限制匿名用户访问 描述: 系统默认允许匿名用户访问，大大增加了系统信息泄露和被攻击的风险。为提高系统安全性，应配置禁止匿名方式访问。 加固建议: 找到配置文件<hadoop_home>/etc/hadoop/core-site.xml，增加或修改配置项： <property> <name>hadoop.http.authentication.simple.anonymous.allowed</name> &lt
Hadoop学习--搭建hadoop集群
乔治在哪里
09-22 1495
目录 1.安装环境 2.安装前准备 3.安装配置Hadoop 4.初始化及运行 1.安装环境 本博客所安装的hadoop只有HDFS、YARN以及MapReduce组件，不包含Hadoop其他组件的安装。 1）准备4台虚拟机（CentOS 7），ip与主机名如下： 192.168.134.128 master 192.168.134.129slave1 192.168.1...
关于hadoop端口的问题
dawningblue的博客
06-18 5274
在所有的进程启动之后除了用jps命令看看后台进程是否启动之外，还想用web界面验证 在登录namenode的界面的时候发现这个问题 但是其他的都是对的，从这个报错上来看应该后台进程起作用了，但是感觉好像端口制定的不对，所以，我决定重新设置一下端口在设置的时候要注意，最好把所有的相关进程都关掉再设置，或者设置完之后重启所有相关的进程的。 还有，修改完配置文件要把它们分发到其它机器上，不能光改
大数据内容分享(九)：Hadoop-生产集群搭建（完全分布式）
之乎者也·的博客
01-04 1560
hadoop中HDFS要存储数据，这些数据存储的目录地址，默认值为：/tmp/hadoop-${user.name}，如下图2所示为默认值，在本环境 Linux系统里面是指：/tmp/hadoop-zola，但是 /tmp 目录是1个临时目录，一般Linux系统1个月清理一次。集群完成配置后，在启动集群之前，还需要 配置workers节点 ，集群中有几个节点， /opt/module/hadoop-3.1.3/etc/hadoop/workers配置文件里面对应的就配置几个主机名称。
HDFS配置详解
weixin_43990680的博客
02-04 4809
HDFS配置详解随笔说明hdfs-site.xmldfs.namenode.name.dirdfs.block.sizedfs.datanode.data.dirdfs.namenode.handler.countdfs.datanode.handler.countdfs.datanode.max.xcieversdfs.permissionsdfs.datanode.du.reserveddfs...
搭建Hadoop HA集群
unhurried人生——冕临的博客
09-23 1398
yarn.resourcemanager.store.class：用于Resourcemanager状态存储的类，默认为org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore，基于Hadoop文件系统的实现。另外，还可以指定org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore，该类为基于ZooKeeper的实现。
hadoop--集群配置
weixin_46361294的博客
02-28 1252
前提：装好了虚拟机，在hadoop102装好了JDK和Hadoop 部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 注意：NameNode 和 SecondaryNameNode 不要安装在同一台服务器；ResourceMan.
Hadoop关键端口详解与防火墙设置指南
在部署和管理Hadoop集群时，了解各个组件的默认端口至关重要，因为它们决定了集群内部通信和外部访问的通道。 HDFS（Hadoop Distributed File System）是Hadoop的核心组件，主要负责数据存储。以下是HDFS的一些关键...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值