When running with master ‘yarn‘ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environme

最新推荐文章于 2023-02-20 12:37:35 发布
最新推荐文章于 2023-02-20 12:37:35 发布
阅读量1.7k 收藏 1
点赞数
文章标签： hadoop 大数据 分布式 spark python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44725721/article/details/127431124
版权
当在windows上的pycharm中使用pyspark的yarn模式运行时，出现以下错误。在程序的起始位置添加“HADOOP_CONF_DIR”的地址。
摘要由CSDN通过智能技术生成

问题背景

  1. 三台虚拟机环境配置如下：
hadoop102 hadoop103 hadoop104
Anaconda Anaconda Anaconda
spark – –
pyspark – –
nodemanager nodemanager
resourcemanager		 nodemanager
datanode
namenode		 datanode datanode
  1. hadoop的安装路径为（三台虚拟机都有）

在这里插入图片描述

  1. 在windows的pycharm上配置了远程环境连接集群的python环境

问题描述

当在windows上的pycharm中使用pyspark的yarn模式运行时，出现以下错误
在这里插入图片描述

解决方案

在程序的起始位置添加“HADOOP_CONF_

最低0.47元/天 解锁文章
强强0007
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Exception in thread “main“ org.apache.spark.SparkException: When running with master ‘yarn‘ either
默主归沙的博客
03-14 3158
在执行一个spark程序的时候，明明把yarn-site.xml,core-site.xml,hdfs-site.xml都打包进去了， 可是还是报错 Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. at org...
Spark 3.1.3 HADOOP_CONF_DIR or YARN_CONF_DIR must be set
SmartSi
07-28 641
上面错误提示其实已经说的很明白了，在运行环境中缺少了HADOOP_CONF_DIR或者YARN_CONF_DIR环境变量配置。配置完重新运行脚本即可。
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either
qq_39024790的博客
06-04 857
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 上面中的错误是HADOOP_CONF_DIR和YARN_CONF_DIR没有设置在环...
使用spark运行yarn的时候, java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YAR
WGBLW的博客
03-17 9312
一：报错信息 使用spark运行yarn的时候,报错Exception in thread “main” java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment 如下图： 二：解决方案 直接在命令行执行： ...
成功解决java.lang.Exception: When running with master ‘yarn‘ either HADOOP_CONF_DI
weixin_42961644的博客
03-22 3013
解决问题 spark on yarn 模式提交任务，java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environme 解决思路 spark找不到yarn相关的地址端口信息，无法提交到yarn上运行。 解决方法 添加环境变量到env文件中 hezepei@MacBook-Pro conf % vim spark-env.sh expo
启动Spark-shell时报HADOOP_CONF_DIR没有配置的解决办法
Mike的博客
03-15 5430
When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 解决办法： 在spark目录下conf/spark-env.sh中配置HADOOP_CONF_DIR参数，值为Hadoop目录 ...
hadoop-yarn.zip_The Project_com.hado_hadoop
09-24
This project contains the hadoop yarn source code along with some of my modifications, related to security features
pc机连接集群的HADOOP_HOME
12-14
这通常包括了Hadoop的bin、sbin、conf等目录，你需要下载并解压缩到本地的一个位置，然后将这个位置设为`HADOOP_HOME`。 配置环境变量的过程如下： 1. 在Windows中，你可以通过编辑`系统属性` > `高级系统设置` > `...
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
《HDFS设计与操作——基于Hadoop的Java实践》 Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，它为大规模数据处理提供了可扩展、高容错性的存储解决方案。本资料集围绕“hdfs_design.rar”这个...
hadoop-API.zip_Hadoop学习_hadoop api
09-19
Hadoop是大数据处理领域的一个核心框架，其API的掌握对于开发者来说至关重要。Hadoop API提供了丰富的功能，使得用户能够高效地处理大规模数据。这个“hadoop-API.zip”压缩包包含了Hadoop的中文版API文档，对于正在...
spark-yarn_2.11-2.1.3-SNAPSHOT.jar
04-01
spark-yarn_2.11-2.1.3-SNAPSHOT.jar
spark错误集锦(一)——Exception in thread "main" java.lang.Exception: When running with master 'yarn' either
不负如来不负卿
06-06 4679
１、 Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.         at org.apache.spark.deploy.SparkSubm...
Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效
qq_65303368的博客
02-20 376
在conf/spark-env.sh文件中配置HADOOP_CONF_DIR和YARN_CONF_DIR后依然无法解决问题。在windows上运行spark on yarn出现。
Linux下搭建PySpark环境
u011250186的博客
12-15 875
linux版scala：https://downloads.lightbend.com/scala/2.11.0/scala-2.11.0.tgz linux/windows通用版spark：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz linux/windows通用版hadoop：https://mirrors.tuna.tsinghua.edu.cn/apach...
jupyter-notebook 以yarn模式运行出现的问题及解决
AI研究院
04-17 725
jupyter-notebook 以yarn模式运行出现的问题及解决 原创小白programmer 最后发布于2018-11-21 10:53:01 阅读数 519 收藏 展开 jupyter-notebook 以yarn模式运行的出现的问题及解决方法 之前用pyspark虚拟机只跑了单机程序，现在想试试分布式运算。 在做之前找了书和博客来看，总是有各种各样的问题，无法成功。现在特记录一下过程...
Neither the HADOOP_CONF_DIR nor the YARN_CONF_DIR environment variable is set. The Flink YARN Client
mtj66的博客，交流WX:SpringBreeze1104
05-25 7011
Neither the HADOOP_CONF_DIR nor the YARN_CONF_DIR environment variable is set. The Flink YARN Client needs one of these to be set to properly load the Hadoop configuration for accessing YARN. Ple
个人总结-Spark运行异常问题汇总
qq_34560135的博客
07-17 6653
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. $ vim /etc/profile #添加以下两句话 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_
Spark on Yarn的常见错误
muyingmiao的专栏
10-25 582
1. 将spark作业提交到yarn上执行 spark仅仅作为一个客户端 ./spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ /home/hadoop/app/spark-2.4.4-bin-2.6.0-cdh5.15.1/examples/jars/spark-examples_2.11-...
spark on yarn 的一些问题、hbase关闭问题
weixin_42496757的博客
02-24 509
spark on yarn 报错: When running with master 'yarn-client' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 在spark-env.sh中  export  HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  Neit...
Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:630)
最新发布
06-10
这个错误是在使用 Spark 提交作业时出现的，表明你正在使用 YARN 集群管理器来运行作业，但是环境中没有设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。 为了解决这个问题，你可以按照以下步骤之一进行操作： 1. 设置 HADOOP_CONF_DIR 环境变量： 在你的终端中，输入以下命令： export HADOOP_CONF_DIR=/path/to/hadoop/conf 将 /path/to/hadoop/conf 替换为你的 Hadoop 配置目录的路径。 2. 设置 YARN_CONF_DIR 环境变量： 同样，在你的终端中，输入以下命令： export YARN_CONF_DIR=/path/to/hadoop/conf 将 /path/to/hadoop/conf 替换为你的 Hadoop 配置目录的路径。 完成这些步骤后，重新运行你的 Spark 作业即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值