Hadoop搭建之 start-yarn.sh 报错

最新推荐文章于 2025-03-17 17:18:33 发布
最新推荐文章于 2025-03-17 17:18:33 发布
阅读量5.1k 收藏 4
点赞数
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gnosed/article/details/104289562
版权
在配置好Hadoop伪分布式环境并启动HDFS后，尝试启动YARN组件时遇到错误，错误信息显示找不到YARN的日志文件路径。通过检查发现yarn.env.sh文件中环境变量未正确配置。解决方法是编辑yarn.env.sh，设置正确的$HADOOP_YARN_HOME等环境变量，并根据JDK和HADOOP的实际路径调整。完成配置后，重新启动YARN，ResourceManager和NodeManager进程正常运行，标志着Hadoop启动成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，

[hadoop@master hadoop]$ jps
8994 NameNode
10396 Jps
9087 DataNode
9279 SecondaryNameNode

然后尝试开启YARN组件，但是报错：

[hadoop@master hadoop]$ start-yarn.sh 
starting yarn daemons
mkdir: cannot create directory ‘/usr/local/hadoop’: Permission denied
chown: cannot access ‘/usr/local/hadoop/logs’: No such file or directory
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-resourcemanager-master.out
/home/hadoop/app/hadoop-2.7.5/sbin/yarn-daemon.sh: line 123: cd: /usr/local/hadoop: No such file or directory
/home/hadoop/app/hadoop-2.7.5/sbin/yarn-daemon.sh: line 124: /usr/local/hadoop/logs/yarn-hadoop-resourcemanager-master.out: No such file or directory
head: cannot open ‘/usr/local/hadoop/logs/yarn-hadoop-resourcemanager-master.out’ for reading: No such fil
最低0.47元/天 解锁文章
高可用hadoop集群start-yarn.sh之后一个namenode消失问题解决
爱米酱的博客
07-27 1059
今天在启动高可用hadoop集群的时候，start-dfs.sh之后namenode还都在，但是start-yarn.sh之后，就发现其中一台namenode消失了，查找日志发现以下报错 192.168.175.113:8485: Call From marshal/192.168.175.110 to marshal03:8485 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details s.
hadoop sbin/start-dfs.sh报错 ERROR: Cannot set priority of datanode process
相对静止
12-10 8582
错误信息： hadoop-3.1.3启动HDFS时报错，具体错误信息如下： [root@hadoop10 hadoop-3.1.3]# sbin/start-dfs.sh Starting namenodes on [hadoop10] 上一次登录：四 12月 10 12:11:50 CST 2020pts/1 上 hadoop10: namenode is running as process 6777. Stop it first. Starting datanodes 上一次登录：四 12月.
按照官网步骤sbin/start-yarn.sh失败
这都不是事er 的博客
05-17 4322
按照官网步骤sbin/start-yarn.sh失败环境sbin/start-yarn.sh 启动失败sbin/stop-yarn.sh 执行失败 环境 Centos7 - 1台虚拟机 hadoop-3.2.1 OpenJDK1.8.0_181 root用户 - 伪分布式 sbin/start-yarn.sh 启动失败 [root@ip10 hadoop-3.2.1]# sbin/start-yarn.sh Starting resourcemanager ERROR: Attempting to op
hadoop三大模块学习和相关配置（hdfs、mapreduce、yarn）
最新发布
weixin_53033724的博客
03-17 1061
包括登录root用户、修改IP和主机名、配置ssh免密登录、关闭防火墙、安装JDK、解压Hadoop安装包（该部分配置暂时未做记录，可以网上自行查找）例如：我的配置是：（总共三台服务器分别是： node1 node2 node3），node1为中心服务器，我是通过vmware虚拟机进行的操作，在window本地c盘下找到了hosts（C:\Windows\System32\drivers\etc） 把ip配置进去了。其余配置均为linux集群上的配置，可以上网搜索，都容易理解。HDFS的配置文件主要包括。
yarn启动失败原因
Java大数据
11-03 9304
今天在做mapReduce 的学习开发时候，当我用start-yarn.sh启动yarn集群的时候一直都是启动失败，上网查了很久都说是yarn-site.xml 问题，自己核对了好几遍都没有找到问题，最后不得已一个一个核对，才发现问题，所以，就必须得记录一下，这一个巨大的坑。我的配置如下： 在这里插入代码片 <property> <name>yarn.resourcema...
Hadoop 启动 YARN
DMS程序猿
01-10 1万+
1，首先进入hadoop目录：cd /usr/local/hadoop 2，修改配置文件 mapred-site.xml，这边需要先进行重命名：      mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml      然后修改内容：gedit ./etc/hadoop/mapred-site.xm
Hadoop集群配置、启动YARN
BWone的博客
05-29 2309
本篇在 Hadoop集群启动HDFS 的基础上继续配置   YARN启动： 配置mapred-site.xml（复制mapred-site.xml.template配置模板生成mapred-site.xml）： cp /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml vim /usr/local/h
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
5. **启动Hadoop服务**：通过`sbin`目录下的脚本启动Hadoop的各个服务，如`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 6. **Hadoop命令**：现在可以通过`hadoop fs`或`hadoop dfs`命令与HDFS交互，进行文件...
Hadoop在启动时的坑——start-all.sh报错
weixin_34417814的博客
08-13 3187
1、若你用的Linux系统是CentOS的话，这是一个坑： 　　它会提示你JAVA_HOME找不到，现在去修改文件: .修改hadoop配置文件，手动指定JAVA_HOME环境变量 [${hadoop_home}/etc/hadoop/hadoop-env.sh] ... export JAVA_HOME=/soft/jdk ... 　　这是C...
启动Hadoop集群——HDFS和Yarn
weixin_53299145的博客
09-24 1125
前提：务必查看防火墙状态！（三台主机都要看）保证关闭再进行下一步。
Yarn的配置与启动
热门推荐
wangato的博客
04-11 1万+
Yarn MapReduce
start-yarn.sh启动不了
weixin_45631366的博客
05-13 2665
所有启动脚本都在nn节点上，start-dfs.sh 启动，错误如下： 解决： 错误显示: hadoop103上没有/opt/module/hadoop-2.7.2/sbin/hadoop-daemon.sh这个目录 去检查发现，没有sbin这个目录 原因：分发的时候，没有分发hadoop-2.7.2目录 重新分发hadoop-2.7.2目录即可 ...
yarn的启动
leibniz_zhang的博客
05-18 1万+
yarn启动前需要配置两个文件：mapred-site.xml 和 yarn-site.xmlmapred-site.xml：（master配置即可） <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property...
关于启动sbin/start-yarn.sh报错
qq_45983946的博客
03-14 1136
hadoop启动 start-yarn.sh的一些错误
Hadoop-Yarn-启动篇
lu070828的博客
02-06 2867
1、用户执行./start-yarn.sh2、start-yarn.sh中依次启动resourceManager、nodemanager、proxyserver3、根据yarn命令和hadoop-functions.sh找到三个角色的启动类，并且在本地或者远程（通过ssh的方式）启动各自的java进程4、resourceManager、nodemanager、proxyserver初始化各自的服务列表。
启动start-yarn.sh报错ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no
qq_45814108的博客
09-12 1万+
出现以上报错信息需要到 sbin 目录下 更改 start-yarn.sh 和 stop-yarn.sh 信息，在两个配置文件的第一行添加： YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root 最后再 输入命令 /sbin/start-yarn.sh 启动 yarn ...
修改hadoop集群规划时出现“-bash start-yarn.sh command not found”
weixin_43506688的博客
03-31 4622
修改hadoop集群规划时出现“-bash start-yarn.sh command not found”背景说明问题出现问题剖析解决 背景说明 前段时间配置了一组3节点的hadoop集群，当时采用了先配置一个、然后SCP拷贝的方式。 当时的配置仅包含了hdfs和yarn部分，其中“bigdata121”机器为NameNode、SeconderyNameNode和ResourceManager，...
start-yarn.sh无法群起resourceManager的坑
zyz的博客
12-11 2075
hadoop的分布式部署在三台机，分别为：hadoop.node.server01、hadoop.node.server02、hadoop.node.server03，nameNode部署在server01中，而YARN的resourceManager部署在server02， 在server01机器上配置好core-site.xml、hdfs-site.xml、mapred-site.xml、slave等配置文件， 配置无密码登录， 将配置文件scp到其它各台机器中，执行b...
部署hadoop，执行start-yarn.sh时总说环境变量WARNING: YARN_LOG_DIR has been replaced by HADOOP_LOG_DIR. Using value of YARN_LOG_DIR.有问题
03-16
<think>嗯，用户遇到了Hadoop部署时start-yarn.sh脚本报出YARN_LOG_DIR的警告，需要解决这个问题。首先，我得回忆一下Hadoop的环境变量配置。根据之前的经验，Hadoop的版本更新可能会改变某些环境变量的名称，比如YARN_CONF_DIR被HADOOP_CONF_DIR替代。类似地，用户提到的YARN_LOG_DIR现在应该用HADOOP_LOG_DIR了。 用户提供的引用[3]中提到，启动JobHistoryServer时出现了警告，说明YARN_CONF_DIR和YARN_LOG_DIR已经被替换。所以解决方案应该涉及修改环境变量，避免使用旧的变量名。可能需要在启动脚本里检查是否设置了YARN_LOG_DIR，并将其替换为HADOOP_LOG_DIR。 接下来，我需要考虑如何具体操作。首先，用户可能需要编辑start-yarn.sh和stop-yarn.sh脚本，或者在hadoop-env.sh中设置正确的环境变量。查看引用[1]，用户之前可能在sbin目录下的脚本中添加了用户配置，所以可能需要在同样的地方修改环境变量。比如，将YARN_LOG_DIR替换为HADOOP_LOG_DIR，并确保其指向正确的日志目录。 另外，引用[4]提到配置文件正确的重要性，所以需要检查配置文件中的相关设置。可能还需要检查Hadoop的官方文档，确认环境变量的最新用法。如果用户的环境变量在多个地方被设置，可能会有冲突，需要统一使用HADOOP_LOG_DIR。 步骤可能包括：1. 修改启动脚本中的环境变量；2. 更新配置文件中的相关设置；3. 确保所有节点的配置一致；4. 重新启动服务并验证警告是否消失。同时，要注意权限问题，确保日志目录的写入权限正确设置。 总结下来，解决方案的核心是将所有出现YARN_LOG_DIR的地方替换为HADOOP_LOG_DIR，并确保路径正确。同时，参考用户提供的引用中的方法，比如在start-yarn.sh中添加正确的变量定义，或者调整hadoop-env.sh中的配置。最后，测试启动脚本，确认警告不再出现。</think>以下是解决Hadoop部署中关于$YARN\_LOG\_DIR$环境变量警告的步骤： ### 解决方案 1. **修改启动脚本配置** 在$HADOOP\_HOME/sbin/$目录下的`start-yarn.sh`和`stop-yarn.sh`中，将所有`YARN_LOG_DIR`替换为`HADOOP_LOG_DIR`： ```bash # 修改前 YARN_LOG_DIR=/path/to/yarn/logs # 修改后 HADOOP_LOG_DIR=/path/to/hadoop/logs # 确保路径与集群配置一致 ``` 注意：日志目录需与`hadoop-env.sh`中的配置保持一致[^1][^3]。 2. **更新全局环境变量** 在$HADOOP\_HOME/etc/hadoop/hadoop-env.sh$中统一配置： ```bash export HADOOP_LOG_DIR=/var/log/hadoop # 示例路径，按实际需求修改 # 注释或删除旧的YARN_LOG_DIR定义 # export YARN_LOG_DIR=... ``` 3. **同步配置到所有节点** 通过`scp`将修改后的文件同步至集群所有节点，确保配置一致性： ```bash scp hadoop-env.sh start-yarn.sh node1:$HADOOP_HOME/etc/hadoop/ scp hadoop-env.sh start-yarn.sh node2:$HADOOP_HOME/etc/hadoop/ ``` 4. **验证配置生效** 重启YARN服务并检查日志输出： ```bash ./sbin/stop-yarn.sh && ./sbin/start-yarn.sh tail -f $HADOOP_LOG_DIR/yarn-*.log # 确认无相关WARNING ``` ### 技术原理 Hadoop 3.x版本对日志系统进行了统一管理，废弃了组件独立日志变量（如$YARN\_LOG\_DIR$），改用全局变量$HADOOP\_LOG\_DIR$[^3]。旧脚本继续使用$YARN\_LOG\_DIR$会导致兼容性警告，但不影响服务运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值