When running with master ‘yarn‘ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environme

最新推荐文章于 2024-07-15 10:16:37 发布
最新推荐文章于 2024-07-15 10:16:37 发布
阅读量1.7k 收藏 1
点赞数
文章标签： hadoop 大数据 分布式 spark python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44725721/article/details/127431124
版权
当在windows上的pycharm中使用pyspark的yarn模式运行时，出现以下错误。在程序的起始位置添加“HADOOP_CONF_DIR”的地址。
摘要由CSDN通过智能技术生成

问题背景

  1. 三台虚拟机环境配置如下：
hadoop102 hadoop103 hadoop104
Anaconda Anaconda Anaconda
spark – –
pyspark – –
nodemanager nodemanager
resourcemanager		 nodemanager
datanode
namenode		 datanode datanode
  1. hadoop的安装路径为（三台虚拟机都有）

在这里插入图片描述

  1. 在windows的pycharm上配置了远程环境连接集群的python环境

问题描述

当在windows上的pycharm中使用pyspark的yarn模式运行时，出现以下错误
在这里插入图片描述

解决方案

在程序的起始位置添加“HADOOP_CONF_DIR”的地址


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  强强0007
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
Spark 3.1.3 HADOOP_CONF_DIR or YARN_CONF_DIR must be set

				
			

			

				

					SmartSi
				

				

					07-28
					
					635
					
				

			

		

		

			
				
上面错误提示其实已经说的很明白了，在运行环境中缺少了HADOOP_CONF_DIR或者YARN_CONF_DIR环境变量配置。配置完重新运行脚本即可。

			
		

	



                

              
                



	

		

			

				
					
Exception in thread “main“ org.apache.spark.SparkException: When running with master ‘yarn‘ either

				
			

			

				

					默主归沙的博客
				

				

					03-14
					
					3143
					
				

			

		

		

			
				
在执行一个spark程序的时候，明明把yarn-site.xml,core-site.xml,hdfs-site.xml都打包进去了，

可是还是报错


Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
 at org...

			
		

	



                


  
              

                


	

		

			

				
					
成功解决java.lang.Exception: When running with master ‘yarn‘ either HADOOP_CONF_DI

				
			

			

				

					weixin_42961644的博客
				

				

					03-22
					
					3007
					
				

			

		

		

			
				
解决问题
spark on yarn 模式提交任务，java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environme
解决思路
spark找不到yarn相关的地址端口信息，无法提交到yarn上运行。
解决方法
添加环境变量到env文件中
hezepei@MacBook-Pro conf % vim spark-env.sh
expo

			
		

	





	

		

			

				
					
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either

				
			

			

				

					qq_39024790的博客
				

				

					06-04
					
					857
					
				

			

		

		

			
				
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.





上面中的错误是HADOOP_CONF_DIR和YARN_CONF_DIR没有设置在环...

			
		

	



		

			
		



	

		

			

				
					
使用spark运行yarn的时候, java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YAR

				
			

			

				

					WGBLW的博客
				

				

					03-17
					
					9303
					
				

			

		

		

			
				
一：报错信息
使用spark运行yarn的时候,报错Exception in thread “main” java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment
如下图：

二：解决方案
直接在命令行执行：
...

			
		

	





	

		

			

				
					
启动Spark-shell时报HADOOP_CONF_DIR没有配置的解决办法

				
			

			

				

					Mike的博客
				

				

					03-15
					
					5426
					
				

			

		

		

			
				
When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
解决办法：
在spark目录下conf/spark-env.sh中配置HADOOP_CONF_DIR参数，值为Hadoop目录

...

			
		

	





	

		

			

				
					
spark错误集锦(一)——Exception in thread "main" java.lang.Exception: When running with master 'yarn' either

				
			

			

				

					不负如来不负卿
				

				

					06-06
					
					4677
					
				

			

		

		

			
				
１、

Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
        at org.apache.spark.deploy.SparkSubm...

			
		

	





	

		

			

				
					
hadoop-yarn.zip_The Project_com.hado_hadoop

				
			

			

				

					09-24
				

			

		

		

			
				
This project contains the hadoop yarn source code along with some of my modifications, related to security features

			
		

	





	

		

			

				
					
pc机连接集群的HADOOP_HOME

				
			

			

				

					12-14
				

			

		

		

			
				
这通常包括了Hadoop的bin、sbin、conf等目录，你需要下载并解压缩到本地的一个位置，然后将这个位置设为`HADOOP_HOME`。  配置环境变量的过程如下： 1. 在Windows中，你可以通过编辑`系统属性` > `高级系统设置` > `...

			
		

	





	

		

			

				
					
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop  java_hdfs

				
			

			

				

					09-23
				

			

		

		

			
				
《HDFS设计与操作——基于Hadoop的Java实践》  Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，它为大规模数据处理提供了可扩展、高容错性的存储解决方案。本资料集围绕“hdfs_design.rar”这个...

			
		

	





	

		

			

				
					
hadoop-API.zip_Hadoop学习_hadoop api

				
			

			

				

					09-19
				

			

		

		

			
				
Hadoop是大数据处理领域的一个核心框架，其API的掌握对于开发者来说至关重要。Hadoop API提供了丰富的功能，使得用户能够高效地处理大规模数据。这个“hadoop-API.zip”压缩包包含了Hadoop的中文版API文档，对于正在...

			
		

	





	

		

			

				
					
spark-yarn_2.11-2.1.3-SNAPSHOT.jar

				
			

			

				

					04-01
				

			

		

		

			
				
spark-yarn_2.11-2.1.3-SNAPSHOT.jar

			
		

	





	

		

			

				
					
Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效

				
			

			

				

					qq_65303368的博客
				

				

					02-20
					
					373
					
				

			

		

		

			
				
在conf/spark-env.sh文件中配置HADOOP_CONF_DIR和YARN_CONF_DIR后依然无法解决问题。在windows上运行spark on yarn出现。

			
		

	





	

		

			

				
					
Linux下搭建PySpark环境

				
			

			

				

					u011250186的博客
				

				

					12-15
					
					874
					
				

			

		

		

			
				
linux版scala：https://downloads.lightbend.com/scala/2.11.0/scala-2.11.0.tgz
linux/windows通用版spark：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz
linux/windows通用版hadoop：https://mirrors.tuna.tsinghua.edu.cn/apach...

			
		

	





	

		

			

				
					
jupyter-notebook 以yarn模式运行出现的问题及解决

				
			

			

				

					AI研究院
				

				

					04-17
					
					723
					
				

			

		

		

			
				
jupyter-notebook 以yarn模式运行出现的问题及解决
原创小白programmer 最后发布于2018-11-21 10:53:01 阅读数 519 收藏
展开
jupyter-notebook 以yarn模式运行的出现的问题及解决方法

之前用pyspark虚拟机只跑了单机程序，现在想试试分布式运算。
在做之前找了书和博客来看，总是有各种各样的问题，无法成功。现在特记录一下过程...

			
		

	





	

		

			

				
					
Neither the HADOOP_CONF_DIR nor the YARN_CONF_DIR environment variable is set. The Flink YARN Client

				
			

			

				

					mtj66的博客，交流WX:SpringBreeze1104
				

				

					05-25
					
					7005
					
				

			

		

		

			
				
Neither the HADOOP_CONF_DIR nor the YARN_CONF_DIR environment variable is set. The Flink YARN Client needs one of these to be set to properly load the Hadoop configuration for accessing YARN.


Ple

			
		

	





	

		

			

				
					
个人总结-Spark运行异常问题汇总

				
			

			

				

					qq_34560135的博客
				

				

					07-17
					
					6632
					
				

			

		

		

			
				
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
$ vim /etc/profile
#添加以下两句话
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_

			
		

	





	

		

			

				
					
Spark on Yarn的常见错误

				
			

			

				

					muyingmiao的专栏
				

				

					10-25
					
					577
					
				

			

		

		

			
				
1. 将spark作业提交到yarn上执行
spark仅仅作为一个客户端


./spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
 /home/hadoop/app/spark-2.4.4-bin-2.6.0-cdh5.15.1/examples/jars/spark-examples_2.11-...

			
		

	





	

		

			

				
					
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点

					
最新发布

				
			

			

				

					永远好奇，无限进步！
				

				

					07-15
					
					356
					
				

			

		

		

			
				
上一节完成了ZK的命令操作：创建、读取、删除节点等操作。本节用JavaAPI进行操作，实现创建、删除、监听节点、监听变化等操作。这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。2C4G 编号 h1212C4G 编号 h1222C2G 编号 h123。

			
		

	





	

		

			

				
					
Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.         at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:630)

				
			

			

				

					06-10
				

			

		

		

			
				
这个错误是在使用 Spark 提交作业时出现的，表明你正在使用 YARN 集群管理器来运行作业，但是环境中没有设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。

为了解决这个问题，你可以按照以下步骤之一进行操作：

1. 设置 HADOOP_CONF_DIR 环境变量：

在你的终端中，输入以下命令：

export HADOOP_CONF_DIR=/path/to/hadoop/conf

将 /path/to/hadoop/conf 替换为你的 Hadoop 配置目录的路径。

2. 设置 YARN_CONF_DIR 环境变量：

同样，在你的终端中，输入以下命令：

export YARN_CONF_DIR=/path/to/hadoop/conf

将 /path/to/hadoop/conf 替换为你的 Hadoop 配置目录的路径。

完成这些步骤后，重新运行你的 Spark 作业即可。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值