Hadoop 3.1.3 防火墙放行 hdfs yarn 关键端口

最新推荐文章于 2024-05-23 08:44:38 发布
最新推荐文章于 2024-05-23 08:44:38 发布
阅读量617 收藏 2
点赞数 1
分类专栏： BigData 经验分享 Linux 文章标签： hadoop hdfs mapreduce yarn 防火墙
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/frdevolcqzyxynjds/article/details/130773227
版权

故事背景：
安全系数要求高，不能关闭防火墙，所以需要开端口了

Hadoop 版本：3.1.3

来看一张图吧

1

HDFS
NameNodeweb端口 9870
MapReduce job historyserverweb端口 19888
DataNode端口 8020

Yarn
ResourceManagerweb端口 8088
NodeManager端口 8032

我们下期见，拜拜！

hadoop端口
bingoabin
11-20 31万+
应用场景 Hadoop部署完分布式集群后，运行了一些组件，会产生很多进程，和web可以访问的端口，容易混淆，这里把一些常见的进程，进程的作用和端口进行归纳，总结，方便区分。 操作步骤1. HDFS进程及端口 HDFS启动后包含的进程有：NameNode，DataNode，SecondaryNameNode 启动方法，在主节点： # cd /opt/hadoop2.6.0/sbin/ #
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Gongmoye的博客
04-08 1510
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Hadoop默认端口清单-防火墙申请使用
11-27
Hadoop默认端口清单，自己收集来用，需要开通防火墙的时候使用。
hadoop生态系统的端口
11-14 1080
hadoop生态系统的端口  hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。 1.系统 8080，80 用于tomcat和apache的端口。 22 ssh的端口   2.Web UI 用于访问和监控Hadoop系统运行
hadoop安装需要开放的端口
qq_36889859的博客
07-04 3036
hadoop是集群是基于zookeeper的其中 除了zookeeper的2888，3888（默认）端口之外， Hadoop还需要开启的几个端口其中有 zooker存放地址端口:2181 rpc通讯端口:9000（rpc通讯端口只需要namenode与备选namenode开启即可） http通信端口:50070(同上只需namenode端口开启) jornalnode端口：8485(数据同步端口需...
hdfs写入问题，9866端口开放
Linmeng001的博客
01-09 766
s
Hadoop 需要用到的端口，亲测有用
qq_40924514的博客
02-06 1805
端口开启命令 firewall-cmd --zone=public -add-port=xxxx\tcp --permanent 22 80 8020 8021 8080 8088 8888 9090 9802 9820 9864 9868 9870 9999 50010 50020 50030 50060 50070 50075 50090
Hadoop3.1.3.rar
06-02
为了安装和使用Hadoop 3.1.3，你需要解压"Hadoop3.1.3"压缩包，配置相关的环境变量，如`HADOOP_HOME`，然后根据你的需求设置集群配置文件（如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等）。在完成所有...
Hadoop3.1.3 配置文件
01-15
在大数据处理领域，Hadoop是一个不...总之，理解并精通Hadoop3.1.3的配置文件是管理和优化大数据集群的关键步骤。每个配置项都关乎系统的整体表现，只有深入掌握并灵活运用，才能充分发挥Hadoop在大数据处理中的威力。
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P ” -f ~/....1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
linux下3.1.3Hadoop中yarn的环境详细配置
最新发布
m0_73829637的博客
05-23 620
配置yarn其实可以和配置hdfs一起进行，其实也只是在几个配置文件中增加了一些信息进行配置。前面进行hadoop的安装配置只是相当于配置好了hdfs（hadoop distributed file system分布式文件系统），提供全局文件目录、动态的、有高可扩展性的，使得每个节点可以共享文件，不用重复拷贝文件。
大数据 hadoop-3.1.3 linux 安装包
06-25
在大数据领域，Hadoop是一个关键的开源框架，用于存储和处理海量数据。Hadoop-3.1.3是Hadoop的稳定版本，提供了许多增强的功能和优化，使其更适合大规模分布式计算环境。在这个针对Linux系统的安装包中，我们将探讨...
hadoop-3.1.3 启动HDFS时报错ERROR: Attempting to operate on hdfs namenode as root的解决方法
楠先生
09-02 1667
小菜鸟的个人博客已经正式上线且对外开放啦… 博客访问地址：小菜鸟的大梦想 欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号 最近在升级 Hadoop3.1.3 版本首次启动集群时报如下错误： Starting namenodes on [hadoop100] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborti.
hadoop无法打开50070_Hadoop整体配置有感
weixin_39847887的博客
11-22 741
这两天一直在配置Hadoop,对于刚接触linux得我而言,实在是觉得很有难度,饱受摧残,其实安装软件并不难,真正的难点在于配置文件如何配,如何格式化,分布式应该怎么分布,每一台需要的服务都有哪一些,其实我觉得只要能够理顺这一些,那么安装软件并运行应该难度会下降好几个点,可能也是因为手比较生吧(纯粹个人观点,欢迎大家指正,谢谢)关于Hadoop,我昨天已经讲过了,今天就来讲讲他的安装配置吧,顺便自...
Hadoop默认端口说明
zzhongcy的专栏
02-25 1万+
Hadoop默认端口说明 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。 组件 D
Hadoop2.x与Hadoop3.x的默认端口变化
m0_67392811的博客
04-03 1107
Namenode 端口: 2.x端口 3.x端口 name desc 50470 9871 dfs.namenode.https-address The namenode secure http server address and port. 50070 9870 dfs.namenode.http-address The address and the base port where the dfs namenode web ui will listen on. 8020 9820 fs.default
web访问hadoop默认HTTP端口总结
weixin_34273479的博客
12-11 1527
一、HDFS 1.NameNode 默认端口 50070 2.SecondNameNode 默认端口 50090 3.TaskNode 默认端口 50075二、MapReduce 1.JobTracker 默认端口 50030 2.TaskTracker 默认端口 50060 转载于:https://blog.51c...
Hadoop-关闭防火墙
Ficus的博客
09-18 2731
Hadoop-关闭防火墙 在防火墙中开放端口80和端口22的方法 $ /sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT $ /sbin/iptables -I INPUT -p tcp --dport 22 -j ACCEPT $ /etc/rc.d/init.d/iptables save 重启计算机后，防火墙默认已经开放了80和22两个端口。 临时性的完全关闭防火墙，可以不重启机器 $ /etc/init.d/iptables status #
hadoop生态圈各个组件简介
热门推荐
zcb_data的博客
05-22 8万+
1，HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 client：切分文件，访问HDFS，与那么弄得交互，获取文件位置信息，与DataNode交互，读取和写入数据。 namenode：master节点，在hadoop1.x中只有一个，管理HDFS的名称空间和数据块映射信息，配置副本...
Hadoop 3.1.3源码包深度解析
通过解压这个文件，开发者可以访问和检视Hadoop的所有源代码，包括核心模块，如HDFS、YARN（Yet Another Resource Negotiator，另一种资源协调者）和MapReduce。开发者们可以基于这个版本的源码进行学习、修改、扩展...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值