【Hadoop】Hadoop2.x/3.x常用端口号对比

Namenode 端口:

2.x端口3.x端口namedesc
504709871dfs.namenode.https-addressThe namenode secure http server address and port.
500709870dfs.namenode.http-addressThe address and the base port where the dfs namenode web ui will listen on.
80209820fs.defaultFS指定HDFS运行时nameNode地址

Secondary NN 端口:

2.x端口3.x端口namedesc
500919869dfs.namenode.secondary.https-addressThe secondary namenode HTTPS server address and port
500909868dfs.namenode.secondary.http-addressThe secondary namenode HTTPS server address and port

Datanode 端口:

2.x端口3.x端口namedesc
500209867dfs.datanode.ipc.addressThe datanode ipc server address and port.
500109866dfs.datanode.addressThe datanode server address and port for data transfer.
504759865dfs.datanode.https.addressThe datanode secure http server address and port
500759864dfs.datanode.http.addressThe datanode http server address and por

Yarn 端口

2.x端口3.x端口namedesc
80888088yarn.resourcemanager.webapp.addresshttp服务端口

更多可参考:
https://www.cnblogs.com/Komorebi-john/p/11725030.html
https://blog.csdn.net/qq_31454379/article/details/105439752


  • 4
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Hadoop 3.x中配置Sqoop需要执行以下步骤: 1. 下载Sqoop 下载适合Hadoop 3.x版本的Sqoop。可以从Sqoop的官方网站下载,也可以从Apache镜像站点下载。一旦下载完成,解压Sqoop到任意目录。 2. 配置环境变量 使用以下命令设置Sqoop环境变量: ``` export SQOOP_HOME=/path/to/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 3. 配置Sqoop 在Sqoop的conf目录中,有一个名为sqoop-env-template.sh的文件。将此文件复制为sqoop-env.sh并打开它。设置以下变量: ``` export HADOOP_COMMON_HOME=/path/to/hadoop export HADOOP_MAPRED_HOME=/path/to/hadoop export HIVE_HOME=/path/to/hive ``` 4. 配置Hadoop连接 在Sqoop的conf目录中,有一个名为sqoop.properties文件。打开此文件并设置以下变量: ``` sqoop.metastore.client.autoconnect.url=jdbc:<database>://<host>:<port>/<database_name> sqoop.metastore.client.connect.string=jdbc:<database>://<host>:<port>/<database_name> sqoop.metastore.driver=<database_driver_class> sqoop.metastore.username=<database_username> sqoop.metastore.password=<database_password> ``` 其中,<database>是数据库类型,例如mysql;<host>是数据库所在的主机名或IP地址;<port>是数据库服务的端口号;<database_name>是数据库名称;<database_driver_class>是数据库的驱动程序类;<database_username>是数据库用户名;<database_password>是数据库密码。 5. 配置Hadoop连接参数 在Sqoop的conf目录中,有一个名为sqoop-site.xml文件。打开此文件并设置以下变量: ``` <name>hadoop.home.dir</name> <value>/path/to/hadoop</value> ``` 6. 测试连接 使用以下命令测试Sqoop连接是否正常: ``` sqoop list-databases --connect <connection_string> --username <username> --password <password> ``` 其中,<connection_string>是数据库连接字符串,例如jdbc:mysql://localhost:3306;<username>是数据库用户名;<password>是数据库密码。 如果一切正常,Sqoop会返回数据库中的所有数据库名称。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值