Hadoop常用端口号

转载 2016年12月26日 16:39:22
Hadoop集群的各部分一般会用到多个端口,有些事daemon之间进行交互之用,有些事用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。
这里包含使用的组件:HDFS、YARN、HBase、Hive、Zookeeper:

组件 节点 默认端口 配置 用途说明
HDFS DateNode 50010 dfs.datanode.address
datanode服务端口,用于数据传输
HDFS
DateNode
50075 dfs.datanode.http.address
http服务的端口
HDFS
DateNode
50475 dfs.datanode.https.address
http服务的端口
HDFS
DateNode
50020 dfs.datanode.ipc.address
ipc服务的端口
HDFS
NameNode 50070 dfs.namenode.http-address
http服务的端口
HDFS
NameNode
50470 dfs.namenode.https-address
https服务的端口
HDFS NameNode
8020 fs.defaultFS
接收Client连接的RPC端口,用于获取文件系统metadata信息。
HDFS
journalnode
8485 dfs.journalnode.rpc-address
RPC服务
HDFS
journalnode
8480 dfs.journalnode.http-address
HTTP服务
HDFS
ZKFC 8019 dfs.ha.zkfc.port
ZooKeeper FailoverController,用于NN HA
YARN ResourceManage
8032 yarn.resourcemanager.address
RM的applications manager(ASM)端口
YARN
ResourceManage
8030 yarn.resourcemanager.scheduler.address
scheduler组件的IPC端口
YARN
ResourceManage
8031 yarn.resourcemanager.resource-tracker.address
IPC
YARN
ResourceManage
8033 yarn.resourcemanager.admin.address
IPC
YARN
ResourceManage
8088 yarn.resourcemanager.webapp.address
http服务端口
YARN
NodeManager
8040 yarn.nodemanager.localizer.address
localizer IPC
YARN
NodeManager
8042 yarn.nodemanager.webapp.address
http服务端口
YARN
NodeManager
8041 yarn.nodemanager.address
NM中container manager的端口
YARN
JobHistory Server
10020 mapreduce.jobhistory.address
IPC
YARN
JobHistory Server
19888 mapreduce.jobhistory.webapp.address
http服务端口
HBase Master
60000 hbase.master.port
IPC
HBase
Master
60010 hbase.master.info.port
http服务端口
HBase
RegionServer
60020 hbase.regionserver.port
IPC
HBase
RegionServer
60030 hbase.regionserver.info.port
http服务端口
HBase
HQuorumPeer
2181 hbase.zookeeper.property.clientPort
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
2888 hbase.zookeeper.peerport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
3888 hbase.zookeeper.leaderport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
Hive Metastore
9085 /etc/default/hive-metastore中export PORT=<port>来更新默认端口

Hive
HiveServer
10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口

ZooKeeper
Server
2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port>
对客户端提供服务的端口
ZooKeeper
Server
2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
follower用来连接到leader,只在leader上监听该端口
ZooKeeper
Server
3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
用于leader选举的。只在electionAlg是1,2或3(默认)时需要










相关文章推荐

python多线程,so easy

python 多线程 threading

Hadoop 入门

大数据,big data,hadoop, hdfs,map reduce

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如...

hdfs常用的端口配置

常用的端口配置 1、 HDFS端口   参数 描述 默认 配置文件 例子值 fs.default.name namenode namenode RPC交互端口 ...

hadoop中使用MapReduce编程实例(转)

hadoop中使用MapReduce编程实例(转) 存储,学习,分享 原文链接:http://www.cnblogs.com/xia520pi/archive/2012/06/04/253...

YARN 笔记(一)

Yarn,bigdata,hadoop

hadoop能用到的系统端口

hadoop能用到的系统端口  hadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端...

Linux下开启Hadoop的9000端口方法

安装Hadoop后, 启动Hadoop时需要开启很多端口, 最简单的办法是关闭Linux防火墙. 具体方法如下: 当Linux打开防火墙后,你会发现,从本机登录9000端口是没有问题的,但是如果从另...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)