关闭

Hadoop常用端口号

标签: hadoophadoop集群
518人阅读 评论(0) 收藏 举报
分类:
Hadoop集群的各部分一般会用到多个端口,有些事daemon之间进行交互之用,有些事用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。
这里包含使用的组件:HDFS、YARN、HBase、Hive、Zookeeper:

组件 节点 默认端口 配置 用途说明
HDFS DateNode 50010 dfs.datanode.address
datanode服务端口,用于数据传输
HDFS
DateNode
50075 dfs.datanode.http.address
http服务的端口
HDFS
DateNode
50475 dfs.datanode.https.address
http服务的端口
HDFS
DateNode
50020 dfs.datanode.ipc.address
ipc服务的端口
HDFS
NameNode 50070 dfs.namenode.http-address
http服务的端口
HDFS
NameNode
50470 dfs.namenode.https-address
https服务的端口
HDFS NameNode
8020 fs.defaultFS
接收Client连接的RPC端口,用于获取文件系统metadata信息。
HDFS
journalnode
8485 dfs.journalnode.rpc-address
RPC服务
HDFS
journalnode
8480 dfs.journalnode.http-address
HTTP服务
HDFS
ZKFC 8019 dfs.ha.zkfc.port
ZooKeeper FailoverController,用于NN HA
YARN ResourceManage
8032 yarn.resourcemanager.address
RM的applications manager(ASM)端口
YARN
ResourceManage
8030 yarn.resourcemanager.scheduler.address
scheduler组件的IPC端口
YARN
ResourceManage
8031 yarn.resourcemanager.resource-tracker.address
IPC
YARN
ResourceManage
8033 yarn.resourcemanager.admin.address
IPC
YARN
ResourceManage
8088 yarn.resourcemanager.webapp.address
http服务端口
YARN
NodeManager
8040 yarn.nodemanager.localizer.address
localizer IPC
YARN
NodeManager
8042 yarn.nodemanager.webapp.address
http服务端口
YARN
NodeManager
8041 yarn.nodemanager.address
NM中container manager的端口
YARN
JobHistory Server
10020 mapreduce.jobhistory.address
IPC
YARN
JobHistory Server
19888 mapreduce.jobhistory.webapp.address
http服务端口
HBase Master
60000 hbase.master.port
IPC
HBase
Master
60010 hbase.master.info.port
http服务端口
HBase
RegionServer
60020 hbase.regionserver.port
IPC
HBase
RegionServer
60030 hbase.regionserver.info.port
http服务端口
HBase
HQuorumPeer
2181 hbase.zookeeper.property.clientPort
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
2888 hbase.zookeeper.peerport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
3888 hbase.zookeeper.leaderport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
Hive Metastore
9085 /etc/default/hive-metastore中export PORT=<port>来更新默认端口

Hive
HiveServer
10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口

ZooKeeper
Server
2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port>
对客户端提供服务的端口
ZooKeeper
Server
2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
follower用来连接到leader,只在leader上监听该端口
ZooKeeper
Server
3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
用于leader选举的。只在electionAlg是1,2或3(默认)时需要










0
0

猜你在找
深度学习基础与TensorFlow实践
【在线峰会】前端开发重点难点技术剖析与创新实践
【在线峰会】一天掌握物联网全栈开发之道
【在线峰会】如何高质高效的进行Android技术开发
机器学习40天精英计划
Python数据挖掘与分析速成班
微信小程序开发实战
JFinal极速开发企业实战
备战2017软考 系统集成项目管理工程师 学习套餐
Python大型网络爬虫项目开发实战(全套)
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:6955次
    • 积分:388
    • 等级:
    • 排名:千里之外
    • 原创:28篇
    • 转载:8篇
    • 译文:3篇
    • 评论:2条
    最新评论