成功解决java.lang.Exception: When running with master ‘yarn‘ either HADOOP_CONF_DI

最新推荐文章于 2023-02-20 12:37:35 发布
最新推荐文章于 2023-02-20 12:37:35 发布
阅读量3k 收藏
点赞数 1
分类专栏： Troubleshooting 文章标签： hadoop spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42961644/article/details/115090590
版权

解决问题

spark on yarn 模式提交任务，java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environme

解决思路

spark找不到yarn相关的地址端口信息，无法提交到yarn上运行。

解决方法

添加环境变量到env文件中
hezepei@MacBook-Pro conf % vim spark-env.sh
export HADOOP_CONF_DIR=/Users/hezepei/app/hadoop/etc/hadoop/

Leo_何
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
When running with master ‘yarn‘ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environme
weixin_44725721的博客
10-20 1725
当在windows上的pycharm中使用pyspark的yarn模式运行时，出现以下错误。在程序的起始位置添加“HADOOP_CONF_DIR”的地址。
Spark 3.1.3 HADOOP_CONF_DIR or YARN_CONF_DIR must be set
SmartSi
07-28 639
上面错误提示其实已经说的很明白了，在运行环境中缺少了HADOOP_CONF_DIR或者YARN_CONF_DIR环境变量配置。配置完重新运行脚本即可。
使用spark运行yarn的时候, java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YAR
WGBLW的博客
03-17 9304
一：报错信息 使用spark运行yarn的时候,报错Exception in thread “main” java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment 如下图： 二：解决方案 直接在命令行执行： ...
启动spark-shell遇到的一些问题
记录
04-12 5377
执行：spark-shell 1、报When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in th environmwnt 原因是没有配置之前在/etc/profile下配置了hadoop的环境变量，但是没有配置HADOOP_CONF_DIR 解决办法： vim /U...
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either
qq_39024790的博客
06-04 857
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 上面中的错误是HADOOP_CONF_DIR和YARN_CONF_DIR没有设置在环...
spark错误集锦(一)——Exception in thread "main" java.lang.Exception: When running with master 'yarn' either
不负如来不负卿
06-06 4677
１、 Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.         at org.apache.spark.deploy.SparkSubm...
java.lang.NoClassDefFoundError错误解决办法
08-30
"java.lang.NoClassDefFoundError错误解决办法" java.lang.NoClassDefFoundError错误是一种常见的Java错误，它发生在Java虚拟机在编译时能找到合适的类，而在运行时不能找到合适的类导致的错误。下面是该错误的解决...
hadoop-yarn.zip_The Project_com.hado_hadoop
09-24
This project contains the hadoop yarn source code along with some of my modifications, related to security features
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
《HDFS设计与操作——基于Hadoop的Java实践》 Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，它为大规模数据处理提供了可扩展、高容错性的存储解决方案。本资料集围绕“hdfs_design.rar”这个...
[hadoop] ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes
01-20
3. 同样的，对于处理YARN（Yet Another Resource Negotiator）服务的启动和停止脚本 `start-yarn.sh` 和 `stop-yarn.sh`，也需要添加相应的环境变量： ``` #!/usr/bin/env bash YARN_RESOURCEMANAGER_USER=root ...
hadoop-conf里面的配置文件
01-17
hadoop conf里面文件配置
在Windows上安装Hadoop教程.zip_YJVH_hadoop_hadoop book
09-15
6. **启动Hadoop服务**：使用`start-dfs.bat`和`start-yarn.bat`脚本启动DataNode、NameNode、ResourceManager和NodeManager等服务。 7. **测试Hadoop安装**：通过`hadoop fs -ls /`命令检查Hadoop是否正常工作，...
Exception in thread “main“ org.apache.spark.SparkException: When running with master ‘yarn‘ either
默主归沙的博客
03-14 3150
在执行一个spark程序的时候，明明把yarn-site.xml,core-site.xml,hdfs-site.xml都打包进去了， 可是还是报错 Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. at org...
个人总结-Spark运行异常问题汇总
qq_34560135的博客
07-17 6635
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. $ vim /etc/profile #添加以下两句话 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_
Spark on Yarn的常见错误
muyingmiao的专栏
10-25 579
1. 将spark作业提交到yarn上执行 spark仅仅作为一个客户端 ./spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ /home/hadoop/app/spark-2.4.4-bin-2.6.0-cdh5.15.1/examples/jars/spark-examples_2.11-...
Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效
qq_65303368的博客
02-20 374
在conf/spark-env.sh文件中配置HADOOP_CONF_DIR和YARN_CONF_DIR后依然无法解决问题。在windows上运行spark on yarn出现。
启动Spark-shell时报HADOOP_CONF_DIR没有配置的解决办法
Mike的博客
03-15 5428
When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 解决办法： 在spark目录下conf/spark-env.sh中配置HADOOP_CONF_DIR参数，值为Hadoop目录 ...
2020-09-23
weixin_48029616的博客
09-23 965
-----Spark 在xshell中出现如下错误： Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 解决办法：修改/opt/module/spark-yarn/conf/spark-env.sh（spark-env.sh .
spark on yarn 的一些问题、hbase关闭问题
weixin_42496757的博客
02-24 508
spark on yarn 报错: When running with master 'yarn-client' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 在spark-env.sh中  export  HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  Neit...
Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:630)
最新发布
06-10
这个错误是在使用 Spark 提交作业时出现的，表明你正在使用 YARN 集群管理器来运行作业，但是环境中没有设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。 为了解决这个问题，你可以按照以下步骤之一进行操作： 1. 设置 HADOOP_CONF_DIR 环境变量： 在你的终端中，输入以下命令： export HADOOP_CONF_DIR=/path/to/hadoop/conf 将 /path/to/hadoop/conf 替换为你的 Hadoop 配置目录的路径。 2. 设置 YARN_CONF_DIR 环境变量： 同样，在你的终端中，输入以下命令： export YARN_CONF_DIR=/path/to/hadoop/conf 将 /path/to/hadoop/conf 替换为你的 Hadoop 配置目录的路径。 完成这些步骤后，重新运行你的 Spark 作业即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值