Spark on yarn启动时报错：Error initializing SparkContext解决方法

最新推荐文章于 2023-11-14 11:07:19 发布
最新推荐文章于 2023-11-14 11:07:19 发布
阅读量1.6k 收藏 7
点赞数 2
分类专栏： 大数据 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42768356/article/details/103427988
版权
本文介绍了在启动Spark on YARN时遇到'Error initializing SparkContext'错误的解决方法，包括检查hadoop集群的yarn-site.xml配置、验证Spark配置文件（slaves、spark-defaults.conf、spark-env.sh）以及确保HDFS中存放了正确的jar包。
摘要由CSDN通过智能技术生成

1.首先确认hadoop集群下的yarn-site.xml配置文件是否添加了下面内容

	<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
最低0.47元/天 解锁文章
青+蓝=紫
关注
专栏目录
忽然遇到报错：ERROR spark.SparkContext: Error initializing SparkContext.
matiji66
05-06 2万+
java.lang.IllegalArgumentException: System memory 100663296 must be at least 4.718592E8. Please use a larger heap size. 在Eclipse里开发Spark项目，尝试直接在spark里运行程序的时候，遇到下面这个报错： 很明显，这是JVM申请的memory不够
提交spark程序到yarn出现ERROR SparkContext: Error initializing SparkContext.
piduzi的博客
02-26 1万+
命令行输出的java异常栈ERROR SparkContext: Error initializing SparkContext.org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master. ...
ERROR SparkContext: Error initializing SparkContext.
80后大叔爱学习
05-30 3149
错误详情：egalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.在Run --&gt; Edi...
Spark启动失败 Error initializing SparkContext | FileNotFoundException
qq_56335560的博客
04-12 1606
在启动spark-shell时，无法初始化，hdfs上没有对应的日志存放目录，但是hdfs陷入安全模式无法关闭，只能删除所有集群上的所有数据和日志，格式化hdfs，手动创建spark要求的目录。
spark报错：SparkContext: Error initializing SparkContext
啊帅和和的博客
11-28 6792
今天早上在写一个.scala代码时，控制台一直出现这个错误。 原本以为这个错误是找不到URL地址，不能使用local[*]这种模式，后来发现这个错误的根本是在上一行，也就是： SparkContext: Error initializing SparkContext 原因是初始化SparkContext时出现的问题。 1.val config:SparkConf = new SparkConf().setMaster(“Local[*]”).setAppName(“ahehe”) 2.val sc = n
ERROR spark.SparkContext: Error initializing SparkContext.
最新发布
11-27
这个错误是由于SparkContext初始化时出现问题导致的。具体来说，第一个引用中的错误是因为系统内存不足，需要增加堆大小。而第二个引用中的错误是因为所需的执行器内存超过了集群的最大阈值。需要检查'yarn....
启动spark shell 报错
justinzwd的博客
01-19 960
启动 bin/spark-shell的时候出现如下报错信息 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 21/01/19 10:45:5
ERROR SparkContext: Error initializing SparkContext. （）
yujinlong2002的博客
03-20 2205
在配置yarn的配置文件中设置的内存过小，不能够支持spark程序的运行所以出现了报错。在将spark程序提交到yarn中运行的时出现以下报错。
ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not pars
qq_53810226的博客
03-14 5925
ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: ‘<pyspark.conf.SparkConf object at 0x7fb5da40a850>’ 报错信息 22/03/14 10:58:26 WARN NativeCodeLoader: Unable to load native-hadoop library f
Spark 报错解决--Error initializing SparkContext
weixin_34049948的博客
05-14 1万+
在提交spark作业的时候，spark出现报错 ./spark-shell 19/05/14 05:37:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting defau...
SparkContext: Error initializing SparkContext解决方法
热门推荐
koooooooo5的博客
11-01 2万+
SparkContext: Error initializing SparkContext解决方法 Spark在配置高可用集群中，出现报错 ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectExcep
spark报错：ERROR SparkContext: Error initializing SparkContext.
Big_data_implicit_
11-28 3406
今天刚好spark history server 配好，就出现了这个错误：ERROR SparkContext: Error initializing SparkContext. 最后一再仔细看，才发现是spark conf下的spark-defaults.conf文件中的错误，把hdfs搞错了，正确的应该是： spark.eventLog.dir hdfs://linux01.pub:9000/spark-logs ...
spark.SparkContext: Error initializing SparkContext.
DraGon_HooRay的博客
06-30 1810
spark.SparkContext: Error initializing SparkContext. 报错： (base) [bigdata@worker01 ~]$ spark2-shell Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 20/06/30 15:40:49 ERROR sp
Spark运行出现Error initializing SparkContext
qq_37543213的博客
05-12 3639
Spark运行出现Error initializing SparkContext1.问题描述2.问题解决 1.问题描述 idea中运行spark时，创建SparkConf和创建创建SparkContext报错 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Invalid Spark URL: spark://HeartbeatReceiver@xxxxxxxxxxx:4126 2.
Spark On Yarn ERROR spark.SparkContext: Error initializing SparkContext.
吟啸徐行
11-01 1万+
当初搭建Spark On Yarn时候 配置yarn端获取spark运行的jar包时候，配置如下： spark.yarn.jars           hdfs:///sparkrunjar/ 提交程序： spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client
Spark启动报错：Error initializing SparkContext
刘李404not_found的博客
09-23 2323
报错信息 java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above the max threshold (1298 MB) of this cluster! Please check the values of ...
开启pyspark出现ERROR SparkContext: Error initializing SparkContext. （hadoop已经开启）
koutian_wuyj的博客
11-14 582
基于在配置完spark存放历史日志的文件后开启spark报错的error修复
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值