Hadoop常用端口号

转载 2016年12月26日 16:39:22
Hadoop集群的各部分一般会用到多个端口,有些事daemon之间进行交互之用,有些事用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。
这里包含使用的组件:HDFS、YARN、HBase、Hive、Zookeeper:

组件 节点 默认端口 配置 用途说明
HDFS DateNode 50010 dfs.datanode.address
datanode服务端口,用于数据传输
HDFS
DateNode
50075 dfs.datanode.http.address
http服务的端口
HDFS
DateNode
50475 dfs.datanode.https.address
http服务的端口
HDFS
DateNode
50020 dfs.datanode.ipc.address
ipc服务的端口
HDFS
NameNode 50070 dfs.namenode.http-address
http服务的端口
HDFS
NameNode
50470 dfs.namenode.https-address
https服务的端口
HDFS NameNode
8020 fs.defaultFS
接收Client连接的RPC端口,用于获取文件系统metadata信息。
HDFS
journalnode
8485 dfs.journalnode.rpc-address
RPC服务
HDFS
journalnode
8480 dfs.journalnode.http-address
HTTP服务
HDFS
ZKFC 8019 dfs.ha.zkfc.port
ZooKeeper FailoverController,用于NN HA
YARN ResourceManage
8032 yarn.resourcemanager.address
RM的applications manager(ASM)端口
YARN
ResourceManage
8030 yarn.resourcemanager.scheduler.address
scheduler组件的IPC端口
YARN
ResourceManage
8031 yarn.resourcemanager.resource-tracker.address
IPC
YARN
ResourceManage
8033 yarn.resourcemanager.admin.address
IPC
YARN
ResourceManage
8088 yarn.resourcemanager.webapp.address
http服务端口
YARN
NodeManager
8040 yarn.nodemanager.localizer.address
localizer IPC
YARN
NodeManager
8042 yarn.nodemanager.webapp.address
http服务端口
YARN
NodeManager
8041 yarn.nodemanager.address
NM中container manager的端口
YARN
JobHistory Server
10020 mapreduce.jobhistory.address
IPC
YARN
JobHistory Server
19888 mapreduce.jobhistory.webapp.address
http服务端口
HBase Master
60000 hbase.master.port
IPC
HBase
Master
60010 hbase.master.info.port
http服务端口
HBase
RegionServer
60020 hbase.regionserver.port
IPC
HBase
RegionServer
60030 hbase.regionserver.info.port
http服务端口
HBase
HQuorumPeer
2181 hbase.zookeeper.property.clientPort
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
2888 hbase.zookeeper.peerport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
3888 hbase.zookeeper.leaderport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
Hive Metastore
9085 /etc/default/hive-metastore中export PORT=<port>来更新默认端口

Hive
HiveServer
10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口

ZooKeeper
Server
2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port>
对客户端提供服务的端口
ZooKeeper
Server
2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
follower用来连接到leader,只在leader上监听该端口
ZooKeeper
Server
3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
用于leader选举的。只在electionAlg是1,2或3(默认)时需要










Android 自定义view设置xml属性

转自:http://www.cnblogs.com/trinea/archive/2012/11/14/2768271.html 本文主要介绍如何为自定义的View添加属性以及属...

Android Timer 用法以及更新UI时的技巧

Timers主要是用来在后台运行一些任务。可以把Timer设置为守护线程。当调用cancel时所有已经安排的任务都没会被取消。        Timer中的任务是依次执行的,如果一个任务花很长时...
  • dxpqxb
  • dxpqxb
  • 2013年03月11日 15:35
  • 2163

常用软件端口号

  • 2015年11月26日 21:33
  • 170KB
  • 下载

常用端口号大全[1].doc

  • 2010年07月03日 07:11
  • 41KB
  • 下载

Hadoop启动namenode失败,端口号冲突问题解决

部署完Hadoop集群后,启动hadoop集群,有可能会遇到端口号冲突的问题 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Faile...

电脑常用端口号

  • 2013年08月23日 22:35
  • 8KB
  • 下载

计算机常用端口号

  • 2013年01月01日 12:25
  • 4KB
  • 下载

hadoop端口号列表

常用的端口配置 HDFS端口 参数 描述 默认 配置文件 例子值 fs.default.name namenode RPC交互端口 ...

常用邮箱服务器地址_端口号

  • 2015年12月02日 11:08
  • 3KB
  • 下载

常用端口号大全

  • 2012年12月28日 11:07
  • 68KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop常用端口号
举报原因:
原因补充:

(最多只允许输入30个字)