Hadoop常用端口号

转载 2016年12月26日 16:39:22
Hadoop集群的各部分一般会用到多个端口,有些事daemon之间进行交互之用,有些事用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。
这里包含使用的组件:HDFS、YARN、HBase、Hive、Zookeeper:

组件 节点 默认端口 配置 用途说明
HDFS DateNode 50010 dfs.datanode.address
datanode服务端口,用于数据传输
HDFS
DateNode
50075 dfs.datanode.http.address
http服务的端口
HDFS
DateNode
50475 dfs.datanode.https.address
http服务的端口
HDFS
DateNode
50020 dfs.datanode.ipc.address
ipc服务的端口
HDFS
NameNode 50070 dfs.namenode.http-address
http服务的端口
HDFS
NameNode
50470 dfs.namenode.https-address
https服务的端口
HDFS NameNode
8020 fs.defaultFS
接收Client连接的RPC端口,用于获取文件系统metadata信息。
HDFS
journalnode
8485 dfs.journalnode.rpc-address
RPC服务
HDFS
journalnode
8480 dfs.journalnode.http-address
HTTP服务
HDFS
ZKFC 8019 dfs.ha.zkfc.port
ZooKeeper FailoverController,用于NN HA
YARN ResourceManage
8032 yarn.resourcemanager.address
RM的applications manager(ASM)端口
YARN
ResourceManage
8030 yarn.resourcemanager.scheduler.address
scheduler组件的IPC端口
YARN
ResourceManage
8031 yarn.resourcemanager.resource-tracker.address
IPC
YARN
ResourceManage
8033 yarn.resourcemanager.admin.address
IPC
YARN
ResourceManage
8088 yarn.resourcemanager.webapp.address
http服务端口
YARN
NodeManager
8040 yarn.nodemanager.localizer.address
localizer IPC
YARN
NodeManager
8042 yarn.nodemanager.webapp.address
http服务端口
YARN
NodeManager
8041 yarn.nodemanager.address
NM中container manager的端口
YARN
JobHistory Server
10020 mapreduce.jobhistory.address
IPC
YARN
JobHistory Server
19888 mapreduce.jobhistory.webapp.address
http服务端口
HBase Master
60000 hbase.master.port
IPC
HBase
Master
60010 hbase.master.info.port
http服务端口
HBase
RegionServer
60020 hbase.regionserver.port
IPC
HBase
RegionServer
60030 hbase.regionserver.info.port
http服务端口
HBase
HQuorumPeer
2181 hbase.zookeeper.property.clientPort
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
2888 hbase.zookeeper.peerport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
3888 hbase.zookeeper.leaderport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
Hive Metastore
9085 /etc/default/hive-metastore中export PORT=<port>来更新默认端口

Hive
HiveServer
10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口

ZooKeeper
Server
2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port>
对客户端提供服务的端口
ZooKeeper
Server
2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
follower用来连接到leader,只在leader上监听该端口
ZooKeeper
Server
3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
用于leader选举的。只在electionAlg是1,2或3(默认)时需要










hadoop能用到的系统端口

hadoop能用到的系统端口  hadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端...
  • wulantian
  • wulantian
  • 2015年06月03日 09:42
  • 24383

hadoop2.x 常用端口及定义方法

一 常用端口号 1 HDFS 2 YARN 3 HBase 4 Hive 5 ZooKeeper 二 Web UIHTTP服务 1 对于存在 Web UIHTTP服务的所有 hadoop daem...
  • u011414200
  • u011414200
  • 2016年01月01日 11:06
  • 1682

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如...
  • ff19910203
  • ff19910203
  • 2014年05月04日 16:10
  • 3019

hdfs常用的端口配置

常用的端口配置 1、 HDFS端口   参数 描述 默认 配置文件 例子值 fs.default.name namenode namenode RPC交互端口 ...
  • wulantian
  • wulantian
  • 2016年03月10日 09:44
  • 10049

Hadoop默认端口应用一览

本文转自:《Hadoop默认端口应用一览》 Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoo...
  • yeruby
  • yeruby
  • 2015年10月25日 20:04
  • 6460

关于hdfs默认端口的问题8020

今晚看hadoop the definitive guid ,到第三章讲关于hdfs,我照着他的例子来,在eclipse里弄好代码,执行却一直报错,说连不上localhost:8020,我检查了下配置...
  • HMC20071120015
  • HMC20071120015
  • 2010年11月07日 22:53
  • 6539

Hadoop端口说明

默认端口                            设置位置                                    描述信息 8020        namenode R...
  • xiaolang85
  • xiaolang85
  • 2013年03月07日 17:34
  • 3549

hadoop常用端口及定义方法

hadoop经常使用到的组件有:HDFS, YARN, HBase, Hive, ZooKeeper 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50...
  • xygl2009
  • xygl2009
  • 2015年04月01日 21:23
  • 1535

Hadoop默认端口说明

Hadoop默认端口说明 Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不...
  • yangyangye
  • yangyangye
  • 2014年02月25日 14:30
  • 8435

NodeManager代码分析之NodeManager启动过程

1、NodeManager概述 NodeManager(NM)是YARN中每个节点上的代理,它管理Hadoop集群中单个计算节点,包括与ResourceManger保持通信,监督Container的生...
  • wuwenxiang91322
  • wuwenxiang91322
  • 2014年10月22日 22:41
  • 6632
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop常用端口号
举报原因:
原因补充:

(最多只允许输入30个字)