大数据中一些组件的启动方式以及端口号总结

一、 Hadoop2.8.5

1、 HDFS的一些访问端口和启动方式

• 启动 start-dfs.sh

• 端口号

  • NameNode
    9000：API操作
    50070：web访问端口
  • DataNode
    50010：dn和snn通信的端口
    50075：web访问端口
  • SecondaryNameNode
    50090：web访问端口

2、 Yarn的一些访问端口和启动方式

• 启动 start-yarn.sh

• 端口号

  • resourceManager
    8088：web访问端口
  • nodeManager

3、 MR历史日志服务器访问端口和启动方式

• 启动
  mr-jobhistory-daemon.sh start historyserver
• 端口号
  19888：web 访问端口

二、 Hive2.3.8

• 启动
  nohup hiveserver2 1>/opt/app/hive-2.3.8/hive.log 2>&1 &
• 端口号
  10000：jdbc:hive2://node1:10000

三、 MySQL8.0

• 启动
  systemctl start mysqld
• 端口号
  3306：通信端口

四、 azkaban3.85.0

• 启动(需要在安装目录下启动)
  bin/start-web.sh
  bin/start-exec.sh

• 端口号

  • webserver
    8081：web访问端口
  • execserver
    12321：通信端口

五、 sqoop1.4.7

六、 Flume1.8.0

七、 spark2.3.1

1、 独立调度器

• 启动
  start-spark-all.sh

• 端口号

  • master
    7077：通信端口
    8888：web访问端口(自己设置)

2、 历史日志服务器

• 启动
  start-history-server.sh
• 端口号
  4000：web访问端口

八、 tomcat8.5.55

• 启动
  bin/startup.sh
• 端口号
  8080：web访问端口

九、 zookeeper3.4.6

• 启动
  zkServer.sh start

• 端口号

  • 2181：对client端提供服务
  • 3888：leader选举
  • 2888：集群内的机器通讯使用

十、 kafka0.11.0.0

• 启动
  kafka-server-start.sh server.properties路径 &
• 端口号
  9092：默认端口号