spark错误集锦(一)——Exception in thread "main" java.lang.Exception: When running with master 'yarn' either

最新推荐文章于 2024-01-08 17:12:01 发布
最新推荐文章于 2024-01-08 17:12:01 发布
阅读量4.7k 收藏 4
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woai8339/article/details/80596441
版权
本文解决了一个常见的Apache Spark运行时配置问题，即当使用yarn作为集群管理器时，HADOOP_CONF_DIR或YARN_CONF_DIR环境变量未设置导致的异常。通过在spark-env.sh文件中正确设置HADOOP_CONF_DIR路径指向Hadoop配置目录，可以避免此类错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

１、

Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
        at org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:286)
        at org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:246)
        at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:119)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:129)

        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

解决方法：编辑$SPARK_HOME/conf/spark-env.sh文件，加入

export HADOOP_CONF_DIR={HADOOP_HOME}/etc/hadoop/

 

Exception in thread “main“ org.apache.spark.SparkException: When running with master ‘yarn‘ either
默主归沙的博客
03-14 3573
在执行一个spark程序的时候，明明把yarn-site.xml,core-site.xml,hdfs-site.xml都打包进去了， 可是还是报错 Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. at org...
When running with master ‘yarn‘ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environme
weixin_44725721的博客
10-20 2172
当在windows上的pycharm中使用pyspark的yarn模式运行时，出现以下错误。在程序的起始位置添加“HADOOP_CONF_DIR”的地址。
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either
qq_39024790的博客
06-04 942
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 上面中的错误是HADOOP_CONF_DIR和YARN_CONF_DIR没有设置在环...
使用spark运行yarn的时候, java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YAR
WGBLW的博客
03-17 9978
一：报错信息 使用spark运行yarn的时候,报错Exception in thread “main” java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment 如下图： 二：解决方案 直接在命令行执行： ...
Spark错误集锦(二)——Exception in thread "main" java.lang.Exception: When running with master 'yarn' either
weixin_45753769的博客
03-19 705
Spark错误集锦(二)——Exception in thread “main” java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. at org.apache.spark.deploy.SparkSu...
Spark各种问题集锦[持续更新]
strongyoung的专栏
08-13 1万+
1、Initial job has not accepted any resources 16/08/13 17:05:42 INFO TaskSchedulerImpl: Adding task set 0.0 with 2 tasks 16/08/13 17:05:57 WARN TaskSchedulerImpl: Initial job has not accepted any re
Spark 在YARN上运行
大强博客
01-31 5280
在YARN上运行Spark 安全 在YARN上启动Spark 添加其他JAR 准备工作 组态 调试您的应用程序 Spark特性 重要笔记 的Kerberos YARN特定的Kerberos配置 Kerberos故障排除 配置外部随机播放服务 使用Apache Oozie启动您的应用程序 使用Spark History Server替换Spark Web U...
Zeppelin0.8.1上操作spark2.0(master使用yarn模式)
@羲凡—只为更好的活着
02-12 1151
@羲凡——只为了更好的活着 Zeppelin0.8.1上操作spark2.0(master使用yarn模式) Hive解释器将被弃用并合并到JDBC解释器中。通过使用具有相同功能的JDBC解释器，可以使用Hive解释器。可结合官网查看如何操作 http://zeppelin.apache.org/docs/0.8.1/interpreter/spark.html Zeppelin0.8.1的安装 ...
基于Yarn运行spark应用的进程分析
reylee的博客
06-05 2010
首先配置HADOOP_CONF_DIR或者YARN_CONF_DIR指向hadoop集群，从而可以调用Yarn 的资源管理器。 两种模式： 1，Yarn-client： Spark driver运行在client进程中，只是利用AM(applicationMaster)向Yarn的资源管理模块申请资源。 运行此种模式只需指定参数yarn-client即可，例如： [root@l
Spark 3.1.3 HADOOP_CONF_DIR or YARN_CONF_DIR must be set
SmartSi
07-28 823
上面错误提示其实已经说的很明白了，在运行环境中缺少了HADOOP_CONF_DIR或者YARN_CONF_DIR环境变量配置。配置完重新运行脚本即可。
Spark运行环境——Yarn模式
weixin_52948205的博客
10-11 1710
Spark运行环境——Yarn模式
Spark Yarn模式的安装与使用
mischen520的博客
06-04 864
2.5 Yarn模式（重点） Spark客户端直接连接Yarn，不需要额外构建Spark集群。 2.5.1 安装使用 0）停止Standalone模式下的spark集群 [atguigu@hadoop102 spark-standalone]$ sbin/stop-all.sh [atguigu@hadoop102 spark-standalone]$ zk.sh stop [atguigu@hadoop103spark-standalone]$ sbin/stop-master.sh 1）.
使用spark在yarn上运行
Romantic_sir的博客
11-13 401
①使用Yarn运行spark时,需要在spark-env.sh中添加以下行 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 注意：在您的环境中检查$HADOOP_HOME / etc / hadoop是否正确.而spark-env.sh也包含HADOOP_HOME的导出. ②修改/root/apps/hadoop-2.8.1/etc/hadoo...
Spark 在 Yarn 上运行 Spark 应用程序
SmartSi
07-29 1873
在Yarn上运行Spark提供了与其他Hadoop组件最紧密的集成，也是在已有Hadoop集群上使用Spark的最简单的方法。为了在Yarn上运行Spark应用程序，Spark提供了两种部署模式Client模式和Cluster模式。Client模式的Driver在客户端运行，而Cluster模式的Driver在Yarn的ApplicationMaster上运行。...
在Yarn上运行spark-shell和spark-sql命令行
热门推荐
Ran
01-01 1万+
在Yarn上运行spark-shell和spark-sql命令行
spark+hadoop (yarn模式)
AlanHand的专栏
10-23 4572
最近毕设需要用到 Spark 集群，所以就记录下了部署的过程。我们知道 Spark 官方提供了三种集群部署方案： Standalone, Mesos, YARN。其中 Standalone 最为方便，本文主要讲述结合 YARN 的部署方案。 软件环境： Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64) Hadoop: 2.
Exception in thread “main“ java.lang.Exception: When running with master ‘yarn‘ either
最新发布
Logan_addoil的博客
01-08 510
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
hadoop||spark||yarn运维
shlhhy的博客
05-26 369
1. 简介 hadoop hadoop实现了一个分布式文件系统HDFS，框架核心设计：HDFS和MapReduce。 spark spark 是专为大规模数据处理而设计的快速通用的计算引擎，支持 Hadoop YARN。 使用总结：hadoop提供分布式集群和分布式文件系统，spark使用hadoop的HDFS代替MapReduce进行大数据的计算处理。 2. Hadoop安装 ...
Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效
qq_65303368的博客
02-20 543
在conf/spark-env.sh文件中配置HADOOP_CONF_DIR和YARN_CONF_DIR后依然无法解决问题。在windows上运行spark on yarn出现。
Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:630)
06-10
这个错误是在使用 Spark 提交作业时出现的，表明你正在使用 YARN 集群管理器来运行作业，但是环境中没有设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。 为了解决这个问题，你可以按照以下步骤之一进行操作： 1. 设置 HADOOP_CONF_DIR 环境变量： 在你的终端中，输入以下命令： export HADOOP_CONF_DIR=/path/to/hadoop/conf 将 /path/to/hadoop/conf 替换为你的 Hadoop 配置目录的路径。 2. 设置 YARN_CONF_DIR 环境变量： 同样，在你的终端中，输入以下命令： export YARN_CONF_DIR=/path/to/hadoop/conf 将 /path/to/hadoop/conf 替换为你的 Hadoop 配置目录的路径。 完成这些步骤后，重新运行你的 Spark 作业即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值