Hadoop搭建之 start-yarn.sh 报错

最新推荐文章于 2024-02-06 00:00:57 发布
最新推荐文章于 2024-02-06 00:00:57 发布
阅读量5k 收藏 3
点赞数
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gnosed/article/details/104289562
版权
在配置好Hadoop伪分布式环境并启动HDFS后，尝试启动YARN组件时遇到错误，错误信息显示找不到YARN的日志文件路径。通过检查发现yarn.env.sh文件中环境变量未正确配置。解决方法是编辑yarn.env.sh，设置正确的$HADOOP_YARN_HOME等环境变量，并根据JDK和HADOOP的实际路径调整。完成配置后，重新启动YARN，ResourceManager和NodeManager进程正常运行，标志着Hadoop启动成功。
摘要由CSDN通过智能技术生成

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，

[hadoop@master hadoop]$ jps
8994 NameNode
10396 Jps
9087 DataNode
9279 SecondaryNameNode

然后尝试开启YARN组件，但是报错：

[hadoop@master hadoop]$ start-yarn.sh 
starting yarn daemons
mkdir: cannot create directory ‘/usr/local/hadoop’: Permission denied
chown: cannot access ‘/usr/local/hadoop/logs’: No such file or directory
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-resourcemanager-master.out
/home/hadoop/app/hadoop-2.7.5/sbin/yarn-daemon.sh: line 123: cd: /usr/local/hadoop: No such file or directory
/home/hadoop/app/hadoop-2.7.5/sbin/yarn-daemon.sh: line 124: /usr/local/hadoop/logs/yarn-hadoop-resourcemanager-master.out: No such file or directory
head: cannot open ‘/usr/local/hadoop/logs/yarn-hadoop-resourcemanager-master.out’ for reading: No such fil
最低0.47元/天 解锁文章
github.com/4gnosed
关注
专栏目录
高可用hadoop集群start-yarn.sh之后一个namenode消失问题解决
爱米酱的博客
07-27 963
今天在启动高可用hadoop集群的时候，start-dfs.sh之后namenode还都在，但是start-yarn.sh之后，就发现其中一台namenode消失了，查找日志发现以下报错 192.168.175.113:8485: Call From marshal/192.168.175.110 to marshal03:8485 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details s.
hadoop sbin/start-dfs.sh报错 ERROR: Cannot set priority of datanode process
相对静止
12-10 8164
错误信息： hadoop-3.1.3启动HDFS时报错，具体错误信息如下： [root@hadoop10 hadoop-3.1.3]# sbin/start-dfs.sh Starting namenodes on [hadoop10] 上一次登录：四 12月 10 12:11:50 CST 2020pts/1 上 hadoop10: namenode is running as process 6777. Stop it first. Starting datanodes 上一次登录：四 12月.
yarn启动失败原因
Java大数据
11-03 9149
今天在做mapReduce 的学习开发时候，当我用start-yarn.sh启动yarn集群的时候一直都是启动失败，上网查了很久都说是yarn-site.xml 问题，自己核对了好几遍都没有找到问题，最后不得已一个一个核对，才发现问题，所以，就必须得记录一下，这一个巨大的坑。我的配置如下： 在这里插入代码片 <property> <name>yarn.resourcema...
hadoop-3.1.3 启动HDFS时报错ERROR: Attempting to operate on hdfs namenode as root的解决方法
相对静止
12-10 1万+
今天在使用hadoop时遇到了下面这个问题，看报错信息是用户问题，于是上网查了下解决方案，找到两种方式，我使用的是方法1，下面将两种方式都列给大家参考。 报错场景： hadoop-3.1.3启动HDFS时报错，具体错误信息如下： [root@hadoop10 hadoop-3.1.3]# sbin/start-dfs.sh Starting namenodes on [hadoop10] ERROR: Attempting to operate on hdfs namenode as ro..
Hadoop集群配置、启动YARN
BWone的博客
05-29 2265
本篇在 Hadoop集群启动HDFS 的基础上继续配置   YARN启动： 配置mapred-site.xml（复制mapred-site.xml.template配置模板生成mapred-site.xml）： cp /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml vim /usr/local/h
按照官网步骤sbin/start-yarn.sh失败
这都不是事er 的博客
05-17 4014
按照官网步骤sbin/start-yarn.sh失败环境sbin/start-yarn.sh 启动失败sbin/stop-yarn.sh 执行失败 环境 Centos7 - 1台虚拟机 hadoop-3.2.1 OpenJDK1.8.0_181 root用户 - 伪分布式 sbin/start-yarn.sh 启动失败 [root@ip10 hadoop-3.2.1]# sbin/start-yarn.sh Starting resourcemanager ERROR: Attempting to op
Hadoop 启动 YARN
DMS程序猿
01-10 1万+
1，首先进入hadoop目录：cd /usr/local/hadoop 2，修改配置文件 mapred-site.xml，这边需要先进行重命名：      mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml      然后修改内容：gedit ./etc/hadoop/mapred-site.xm
启动Hadoop集群——HDFS和Yarn
weixin_53299145的博客
09-24 855
前提：务必查看防火墙状态！（三台主机都要看）保证关闭再进行下一步。
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
5. **启动Hadoop服务**：通过`sbin`目录下的脚本启动Hadoop的各个服务，如`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 6. **Hadoop命令**：现在可以通过`hadoop fs`或`hadoop dfs`命令与HDFS交互，进行文件...
Hadoop在启动时的坑——start-all.sh报错
weixin_34417814的博客
08-13 3035
1、若你用的Linux系统是CentOS的话，这是一个坑： 　　它会提示你JAVA_HOME找不到，现在去修改文件: .修改hadoop配置文件，手动指定JAVA_HOME环境变量 [${hadoop_home}/etc/hadoop/hadoop-env.sh] ... export JAVA_HOME=/soft/jdk ... 　　这是C...
Yarn的配置与启动
热门推荐
wangato的博客
04-11 1万+
Yarn MapReduce
start-yarn.sh启动不了
weixin_45631366的博客
05-13 2600
所有启动脚本都在nn节点上，start-dfs.sh 启动，错误如下： 解决： 错误显示: hadoop103上没有/opt/module/hadoop-2.7.2/sbin/hadoop-daemon.sh这个目录 去检查发现，没有sbin这个目录 原因：分发的时候，没有分发hadoop-2.7.2目录 重新分发hadoop-2.7.2目录即可 ...
yarn的启动
leibniz_zhang的博客
05-18 1万+
yarn启动前需要配置两个文件：mapred-site.xml 和 yarn-site.xmlmapred-site.xml：（master配置即可） <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property...
关于启动sbin/start-yarn.sh报错
qq_45983946的博客
03-14 998
hadoop启动 start-yarn.sh的一些错误
Hadoop-Yarn-启动篇
最新发布
lu070828的博客
02-06 2408
1、用户执行./start-yarn.sh2、start-yarn.sh中依次启动resourceManager、nodemanager、proxyserver3、根据yarn命令和hadoop-functions.sh找到三个角色的启动类，并且在本地或者远程（通过ssh的方式）启动各自的java进程4、resourceManager、nodemanager、proxyserver初始化各自的服务列表。
启动start-yarn.sh报错ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no
qq_45814108的博客
09-12 1万+
出现以上报错信息需要到 sbin 目录下 更改 start-yarn.sh 和 stop-yarn.sh 信息，在两个配置文件的第一行添加： YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root 最后再 输入命令 /sbin/start-yarn.sh 启动 yarn ...
修改hadoop集群规划时出现“-bash start-yarn.sh command not found”
weixin_43506688的博客
03-31 4458
修改hadoop集群规划时出现“-bash start-yarn.sh command not found”背景说明问题出现问题剖析解决 背景说明 前段时间配置了一组3节点的hadoop集群，当时采用了先配置一个、然后SCP拷贝的方式。 当时的配置仅包含了hdfs和yarn部分，其中“bigdata121”机器为NameNode、SeconderyNameNode和ResourceManager，...
start-yarn.sh无法群起resourceManager的坑
zyz的博客
12-11 1920
hadoop的分布式部署在三台机，分别为：hadoop.node.server01、hadoop.node.server02、hadoop.node.server03，nameNode部署在server01中，而YARN的resourceManager部署在server02， 在server01机器上配置好core-site.xml、hdfs-site.xml、mapred-site.xml、slave等配置文件， 配置无密码登录， 将配置文件scp到其它各台机器中，执行b...
start-dfs.sh Start-yarn.sh
06-10
这两个命令是什么意思？ 这两个命令是 Hadoop 分布式系统中的启动命令，分别用于启动 Hadoop 分布式文件系统（HDFS）和资源管理器（YARN）。 start-dfs.sh 启动了 HDFS，包括 NameNode、DataNode 和 SecondaryNameNode 等组件，这些组件一起构成了分布式文件系统的基本架构。 start-yarn.sh 启动了 YARN，包括 ResourceManager 和 NodeManager 等组件，它们负责管理集群中的资源和应用程序，实现了 Hadoop 集群的资源管理和调度功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值