大数据常用端口

1.1  HDFS端口

参数	描述	默认	配置文件	例子值
fs.default.name namenode	namenode高可用 RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs- site.xml	0.0.0.0:50070
dfs.datanode.address	datanode的服务端口，用于数据传输	50010	hdfs -site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服务器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服务器和端口	50075	hdfs-site.xml	0.0.0.0:50075
fs.default.name	非高可用的HDFS RPC通讯端口	9000	hdfs-site.xml	0.0.0.0:9000

常见端口汇总：

Hadoop：    

    50070：HDFS WEB UI端口

    8020 ： 高可用的HDFS RPC端口

    9000 ： 非高可用的HDFS RPC端口

    8088 ： Yarn 的WEB UI 接口

    8485 ： JournalNode 的RPC端口

    8019 ： ZKFC端口

   19888：jobhistory WEB UI端口

Zookeeper:

    2181 ： 客户端连接zookeeper的端口

    2888 ： zookeeper集群内通讯使用，Leader监听此端口

    3888 ： zookeeper端口 用于选举leader

Hbase:

    60010：Hbase的master的WEB UI端口 （旧的） 新的是16010

    60030：Hbase的regionServer的WEB UI 管理端口    

Hive:

    9083  :  metastore服务默认监听端口

    10000：Hive 的JDBC端口

Spark：

    7077 ： spark 的master与worker进行通讯的端口  standalone集群提交Application的端口

    8080 ： master的WEB UI端口  资源调度

    8081 ： worker的WEB UI 端口  资源调度

    4040 ： Driver的WEB UI 端口  任务调度

    18080：Spark History Server的WEB UI 端口

Kafka：

    9092： Kafka集群节点之间通信的RPC端口

Redis：

    6379： Redis服务端口

CDH：

    7180： Cloudera Manager WebUI端口

    7182： Cloudera Manager Server 与 Agent 通讯端口

HUE：

    8888： Hue WebUI 端口
 

 

 

1.2  HDFS的细节参数说明

①整个集群中所有的NamdeNode、DataNode、JournalNode而言，每个节点中的ClusterID相同
clusterID=CID-93fd95ec-4744-4970-ad8b-42a1bb2ab2a1

②整个集群中所有的NameNode、JournalNode、DataNode节点上，所有的NameSpaceID相同

 namespaceID=1563477261

③整个集群中所有的DataNode，每个DataNode上blockpoolID相同，StorageID、DatanodeUuid不同

storageID=DS-55f77a76-67ec-4161-8bfa-4cbb3c7c83be
datanodeUuid=f9456c36-79b5-4333-9f04-835e1b08efeb

blockpoolID=BP-1080241145-10.70.24.84-1544533356457

④ layoutVersion

layoutVersion定义了HDFS持久化数据结构的版本号，它的值是负值。当HDFS的持久化数据结构发生了变化，如增加了一些其他的操作或者字段信息，则版本号会在原来的基础上减1。Hadoop 1.2.1版本中，layoutVersion的值是-41，它与Hadoop的发行版本号是两回事，如果layoutVersion的值变化了（通过减1变化，实际layoutVersion的值更小了），则如果能够读取原来旧版本的数据，必须执行一个升级（Upgrade）过程。layoutVersion主要在fsimage和edit日志文件、数据存储文件中使用。

⑤namespaceID

namespaceID唯一标识了HDFS，在格式化HDFS的时候指定了它的值。在HDFS集群启动以后，使用namespaceID来识别集群中的Datanode节点，也就是说，在HDFS集群启动的时候，各个Datanode会自动向Namenode注册获取到namespaceID的值，然后将该值存储在Datanode节点的VERSION文件中。

⑥cTime

cTime表示Namenode存储对象（即FSImage对象）创建的时间，但是在初始化时它的值为0。如果由于layoutVersion发生变化触发了一次升级过程，则会更新该事件字段的值。

⑦checkpointTime

checkpointTime用来控制检查点（Checkpoint）的执行，为了在集群中获取到同步的时间，使用通过调用FSNamesystem对象的的now方法来生成时间戳。Hadoop使用检查点技术来实现Namenode存储数据的可靠性，如果因为Namenode节点宕机而无法恢复数据，则整个集群将无法工作，我们必须杜绝这种事情的发生，进而采用检查点技术。

⑧in_use.lock锁文件

调用sd.lock()会创建一个${dfs.name.dir}/in_use.lock锁文件，用来保证当前只有同一个进程能够执行格式化操作

//in_use.lock文件中的数字是分别对应namenode和datanode节点中namenode、datanode的进程号


[root@datafactory name]# more in_use.lock 
5385@hadoop01.rc.com

[root@datafactory name]# jps
12820 PrestoServer
5735 DFSZKFailoverController
14424 RunJar
14233 RunJar
5385 NameNode
5866 ResourceManager
6783 Jps