hadoop无法访问50070端口

在搭建Hadoop 2.7.3环境时,遇到访问50070和50030端口失败但能访问8088端口的异常。尝试了重新格式化NameNode等常见解决方案无效。问题根源可能是NameNode默认端口失效。通过手动在hdfs-site.xml中配置NameNode端口为0.0.0.0,解决了访问问题。此问题仅在CentOS 7 Minimal上出现,Ubuntu 16.04则无此现象。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近在搭建hadoop(2.7.3)环境时遇到了一件比较奇葩的问题。整个环境下JDK正常,hadoop配置文件正常,各个守护进程正常启动,防火墙已关闭,但是启动后无法从浏览器中访问50070、50030端口,显示无法访问,但是又可以访问8088端口。

启动后的守护进程
守护进程

网上的主要解决方式是重新格式化namenode 即如下命令:

以下命令在hadoop安装目录下执行

sbin/stop-hdfs.sh
sbin/stop-yarn.sh

bin/hdfs namenode -format

sbin/start-hdfs.sh
sbin/start-yarn.sh

但以上方法并没有解决我的问题,并且通过上面的方式会造成datanode守护进程无法启动的。

重新格式化namenode之前需要清空dfs下的name和data文件夹以解决datanode无法启动的问题

最后发现可能是namenode初始化默认端口失效,于是决定手动修改配置文件设置默认端口
1.hdfs-site.xml 添加如下:

阿里云Hadoop是一个基于开源Apache Hadoop的大数据处理平台,提供了稳定、可靠、高扩展性的分布式存储和计算能力。为了方便管理和监控Hadoop集群的工作状态,阿里云将Hadoop的一些重要服务进行了部署,并开放了一些端口供外部访问。 在阿里云环境中访问Hadoop的web界面通常涉及到对`http://<your-cluster-endpoint>:50070`的访问。这个端点指向的是HDFS(分布式文件系统)的Web UI,通过它可以查看HDFS的文件目录结构、资源使用情况等信息。 要远程访问阿里云Hadoop50070端口,需要满足以下几个条件: 1. **网络可达**:确保您的计算机能够从互联网或内部网络访问到阿里云集群所在的服务器地址。 2. **安全组规则**:阿里云的ECS实例或专有网络VPC环境的安全组应配置允许来自您所在网络的IP访问50070端口。 3. **身份验证**:虽然Hadoop Web UI默认不使用SSL/TLS加密,但出于安全性考虑,您可能需要通过SSH隧道或其他方法建立安全连接,尤其是如果您正在传输敏感数据。 以下是访问HDFS Web UI的一般步骤: 1. 使用SSH连接到阿里云ECS实例或通过其他安全的方式来访问集群的服务器。 2. 检查防火墙和安全组设置确认是否允许从您的IP访问50070端口。 3. 打开浏览器并输入URL `http://<your-instance-public-ip>:50070` 或者直接在本地主机上,如果已建立SSH隧道的话,可能需要输入类似命令 `ssh -L 80:<cluster-ip>:localhost:50070 your-user@ec2-instance-address` 来创建一个代理转发,然后在浏览器中输入 `http://localhost:80` 访问。 请注意,具体的操作细节可能会根据您使用的阿里云产品的具体版本和配置有所不同。 ---
评论 24
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值