Hadoop 3.X 和 2.X 的常用端口号和配置文件

最新推荐文章于 2025-02-08 18:52:54 发布
最新推荐文章于 2025-02-08 18:52:54 发布
阅读量1.2w 收藏 53
点赞数 13
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hmyqwe/article/details/117299345
版权

Hadoop 常用端口号

  • Hadoop 3.X
    HDFS NameNode 内部通信端口：8020/9000/9820
    HDFS NameNode HTTP UI：9870
    HDFS DataNode HTTP UI：9864
    Yarn 查看任务执行端口：8088
    历史服务器通信端口：19888
  • Hadoop 2.X
    HDFS NameNode 内部通信端口：8020/9000
    HDFS NameNode HTTP UI：50070
    HDFS DataNode HTTP UI：50075
    Yarn 查看任务执行端口：8088
    历史服务器通信端口：19888
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

Hadoop 常用配置文件

  • Hadoop 3.X
    core-site.xml
    hdfs-site.xml
    yarn-site.xml
    mapred-site.xml
    workers
  • Hadoop 2.X
    core-site.xml
    hdfs-site.xml
    yarn-site.xml
    mapred-site.xml
    slaves
hmyqwe
关注
hadoop常用端口
03-15
hadoop常用端口设置详解主要包括三大配置文件的端口设置
Hadoop 常用端口号
代妈炼金术师
01-10 3184
请注意，这些是Hadoop组件的标准默认端口，实际部署过程中可以根据需要在配置文件中修改。同时，不同版本的Hadoop可能对某些端口有所调整，请以具体部署环境的实际配置为准。
HDFS的9870端口与8020端口
最新发布
m0_74230025的博客
02-08 538
v1:9870：用于访问 HDFS 的 Web UI，主要用于监控和管理。：用于 HDFS 客户端与 NameNode 之间的 RPC 通信，用于执行文件系统的操作。如果你在使用 HDFS 时遇到问题，可以检查这两个端口是否正常工作，以及 HDFS 服务是否已启动。
Hadoop2.X和3.X常用端口号
lx104921的博客
12-18 341
hadoop2.x hadoop3.x web端访问hdfs 50070 9870 web端访问yarn 8088 8088 历史服务器 19888 19888 内部通信端口 8020/9000 8020/9000/9820
hadoop 3.x常用端口
半斤米粉闯天下的博客
02-20 2903
分类 应用 端口 namenode rpc-address 8020 namenode http-address 9870 namenode https-address 9871 datanode address 9866 datanode http-address 9864 datanode https-address 9865
hadoop3.x\2.x常用端口,和常用配置文件
市民景先生
04-19 3493
常用端口号 hadoop3.x HDFS NameNode 内部通常端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通常端口：8020/9000 HDFS NameNode 对用户的查询端口：50070 Yarn查看任务运行情况：8088 历史服务器：19888 常用配置文件 3.x core-site.xml...
Hadoop之常用端口号
m0_67393828的博客
09-06 2003
HDFS NameNode 对用户的查询端口：9870，经常查看目录信息，如下图，刚刚上传了两个lzo文件。
【Hadoop】Hadoop2.x/3.x常用端口号对比
Together
04-15 4973
hadoop常用端口号说明 Daemon App Hadoop2 Hadoop3 NameNode Port Hadoop HDFS NameNode 8020 / 9000 9820 Hadoop HDFS NameNode HTTP UI 50070 9870 Hadoop HDFS NameNode HTTPS UI 50470 9871 Secondary ...
Hadoop 3.x 笔记（配置、命令、脚本、重要图示、代码实现）
ZZay's
03-30 2832
Hadoop 3.x 笔记 作者： Zzay 目的： 本文章记录 hadoop 3.x 使用过程中常用的配置、命令、脚本、重要图示、实现代码，以方便未来查看使用。 1. 常用配置 1.1 端口号 以下是Hadoop 3.x常用的端口号。 NameNode HTTP UI 端口：9870 NameNode 内部通信端口：8020/9000/9820 Secondary NameNode：9868 YARN 查看执行任务端口（ResourceManager）：8088 历史服务器通信端口（jobHi
大数据-玩转数据-Hadoop 2.x常用端口及查看方法
s_unbo的博客
12-20 1625
大数据-玩转数据-Hadoop 2.x常用端口及查看方法 一、常用端口 组件 节点 默认端口 配置 用途 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 3986
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
第一课 大数据技术之Hadoop3.x环境搭建
QnHyn
06-10 597
hadoop
Hadoop学习-常用端口和配置文件
HaveAGoodDay428的博客
02-21 1401
面试题，hadoop
Hadoop 端口号及常用配置文件
m0_63648117的博客
02-27 1533
hadoop3.x：HDFS NameNode 内部通常端口：8020 / 9000 / 9820HDFS NameNode 对用户的查询端口： 9870Yarn查看任务运行情况的端口： 8088历史服务器： 19888hadoop2.x：HDFS NameNode 内部通常端口：8020 / 9000HDFS NameNode 对用户的查询端口： 50070Yarn查看任务运行情况的端口： 8088历史服务器： 19888。
hadoop3.x端口改动
阿生
03-24 6014
近日学习hadoop3.x，一切安装完成，格式化namenode 然后发现怎么也打不开50070界面 如图所示 刚开始以为是配置错误了，检查多次配置文件和防火墙发现都没问题，然后又测试把文件上传到hdfs试验，发现也可以。于是我明白可能是hadoop3.x端口进行更改了。那么问题来了。新的端口是什么呢？？？ 于是我进行敲击了如下命令 [hadoop@hadoop hadoop]$ netstat...
【Hadoop】-- hadoop3.x default port
欢迎来到我的博客，一起探索代码里的世界！
12-11 292
【代码】【Hadoop】-- hadoop3.x default port。
Hadoop：namenode访问端口2.x默认50070与3.x默认9870
好刹那的专栏
01-10 9087
Hadoop2.x的namenode界面访问端口默认是：50070 Hadoop3.x的namenode界面访问端口默认是：9870 通过修改hdfs-site.xml中dfs.namenode.http-address参数来修改： cd $HADOOP_HOME vi etc/hadoop/hdfs-site.xml ...
hadoop3.x与hadoop2.x比较
qq_51903852的博客
10-25 581
一、常用端口号 hadoop3.x HDFS NameNode 内部通讯端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况的：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通讯端口：8020/9000 HDFS NameNode 对用户的查询端口：50070 Yarn查看任务运行情况的：8088 历史服务器：19888 二、常用的配置文件 hadoop3.x core-site.xml
3）Hadoop网络配置
01-22
### Hadoop 网络配置教程和最佳实践 #### 一、理解网络配置的重要性 对于Hadoop集群而言，良好的网络配置至关重要。这不仅影响到节点间的通信效率，还关系着整个集群的数据传输性能以及稳定性[^2]。 #### 二、具体配置方法 ##### 1. 配置主机名解析 为了简化各节点之间的相互识别，在`/etc/hosts`文件中添加所有参与计算的机器IP地址及其对应的主机名称映射关系。这样可以避免DNS查询带来的延迟，并提高连接建立的速度。 ```bash # /etc/hosts 文件示例 192.168.x.xx master 192.168.x.yy slave1 ... ``` ##### 2. 设置无密码SSH登录 确保NameNode和其他重要服务所在的服务器可以通过SSH免密钥方式访问DataNodes及其他组件所在的服务端口。这对于自动化部署脚本执行非常有用，同时也减少了人工干预的可能性。 - 在Master节点上生成公私钥对（如果尚未存在） ```bash ssh-keygen -t rsa ``` - 将生成的公钥分发给各个Slave节点 ```bash cat ~/.ssh/id_rsa.pub | ssh user@slave 'cat >> ~/.ssh/authorized_keys' ``` ##### 3. 调整JVM参数以适应高并发场景下的内存分配需求 适当调整Java虚拟机启动时的相关参数，比如-Xmx,-Xms等选项来控制最大堆大小最小初始堆大小,从而更好地支持多线程环境下频繁创建销毁对象的需求. ##### 4. 修改防火墙规则允许必要的TCP端口通讯 确认开放如下常用端口号以便于不同角色之间正常交互: | Role | Port Range | |--------------------|------------------| | NameNode Web UI | 50070 | | DataNode | 50010(DN),50020 | | SecondaryNameNode | 50090 | | ResourceManager | 8088 | | NodeManager | 8042 | > 注意: 实际环境中可能还需要额外放开其他自定义的应用程序所使用的特定端口范围. ##### 5. 合理规划物理拓扑结构与交换设备选型 考虑到大规模分布式存储系统内部存在着大量的随机读写请求，因此建议采用低延迟能力强且具备良好扩展性的万兆甚至更高速率级别的网卡配合相应的核心层接入层三层架构设计思路构建底层基础设施平台；与此同时还要注意挑选质量可靠的品牌产品作为组网部件以防止单点故障的发生概率增加而造成不必要的损失。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值