记录hadoop HDFS与hadoop YARN无法访问问题

14 篇文章 0 订阅

问题: 如图,hadoop hdfs无法访问:
在这里插入图片描述

原因一: 防火墙未关闭:

查看防火墙状态:

[xiaobai@hadoop102 hadoop-3.2.2]$ systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabled)
   Active: active (running) since Thu 2021-05-27 23:18:51 CST; 2 weeks 2 days ago
     Docs: man:firewalld(1)
 Main PID: 643 (firewalld)
    Tasks: 2
   CGroup: /system.slice/firewalld.service
           └─643 /usr/bin/python2 -Es /usr/sbin/firewalld --nofork --nopid

解决方法: 无法访问记得关闭防火墙哦

关闭防火墙:

[xiaobai@hadoop102 hadoop-3.2.2]$ systemctl stop firewalld

再次查看防火墙状态已关闭:

[xiaobai@hadoop102 hadoop-3.2.2]$ systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabled)
   Active: inactive (dead) since Sun 2021-06-13 14:58:26 CST; 4s ago
     Docs: man:firewalld(1)
  Process: 643 ExecStart=/usr/sbin/firewalld --nofork --nopid $FIREWALLD_ARGS (code=exited, status=0/SUCCESS)
 Main PID: 643 (code=exited, status=0/SUCCESS)

再次访问成功:
在这里插入图片描述

在这里插入图片描述

tips: hadoop HDFS无法访问关闭hadoop102防火墙,hadoop yarn无法访问关闭hadoop103防火墙,逐一关闭哦!

----------------------------------------更新--------------------------------------------
原因二: hosts未修改。
由于现在使用Mac连接Windows上的虚拟机,并且已经修改了虚拟机的ip为192.168.31.xxx;
而未修改Windows和Mac的hosts,导致

发现只可以用ip访问,不可用hosts name访问,如图:
在这里插入图片描述

在这里插入图片描述

解决方法:
1.修改Windows的hosts;
2.修改Mac的hosts:
在终端输入以下命令编辑hosts:

jane@janedeMacBook-Pro ~ % sudo vi /etc/hosts

在这里插入图片描述
修改成功后,再次使用namenode➕端口便可以成功启动,如图:
在这里插入图片描述

  • 2
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
配置Hadoop HDFSYARN集群涉及到几个重要的配置文件: 1. hdfs-site.xml:这个文件于配置HDFS相关的参数,如数据大小、副本数量、NameNode和Node的存储路径等。示例配置```xml <configuration> <!-- 设置数据块大小为128MB --> <property> <name>dfs.blocksize</name> <value>134217728</value> </property> <!-- 设置副本数量为3 --> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 设置NameNode的存储路径 --> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/namenode/directory</value> </property> <!--DataNode的存储路径 --> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/datanode/directory</value> </property> </configuration> ``` 2. yarn-site.xml:这个文件用于配置YARN相关的参数,如ResourceManager和NodeManager的内存大小、日志路径等。示例配置: ```xml <configuration> <!-- 设置ResourceManager的内存大小为4GB --> <property> <name>yarn.resourcemanager.memory.mb</name> <value>4096</value> </property> <!-- 设置NodeManager的内存大小为2GB --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <!-- 设置日志路径 --> <property> <name>yarn.nodemanager.log-dirs</name> <value>/path/to/nodemanager/logs</value> </property> <!-- 设置YARN应用程序历史服务器的地址 --> <property> <name>yarn.timeline-service.address</name> <value>hostname:port</value> </property> </configuration> ``` 3. core-site.xml:这个文件用于配置Hadoop的核心参数,如HDFS的默认文件系统、YARN的默认资源管理器地址等。示例配置: ```xml <configuration> <!-- 设置HDFS的默认文件系统为hdfs://namenode:port --> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:8020</value> </property> <!-- 设置YARN的默认资源管理器地址为resourcemanager:port --> <property> <name>yarn.resourcemanager.address</name> <value>resourcemanager:8032</value> </property> </configuration> ``` 这只是配置文件的基本示例,实际配置会根据你的集群规模和需求而有所不同。在配置文件中,你需要根据你的环境和需求修改相应的参数值。此外,还需要确保集群中所有节点上的配置文件保持一致。 配置完成后,将修改后的配置文件分发到集群中所有节点上,并重启HDFSYARN服务,使配置生效。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值