spark报错：ERROR SparkContext: Error initializing SparkContext.

最新推荐文章于 2024-03-24 23:13:58 发布
最新推荐文章于 2024-03-24 23:13:58 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： 其它 Spark及源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36269641/article/details/110286307
版权

今天刚好spark history server 配好，就出现了这个错误：ERROR SparkContext: Error initializing SparkContext.

最后一再仔细看，才发现是spark conf下的spark-defaults.conf文件中的错误，把hdfs搞错了，正确的应该是：

spark.eventLog.dir               hdfs://linux01.pub:9000/spark-logs

 

pub.ryan
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
20/02/20 19:52:17 ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.at.org.apache.spark.memory.Uni
Win安装Spark问题：ERROR SparkContext: Error initializing SparkContext
Circle-C的博客
11-28 5700
问题背景: Java版本：1.8.0.291 Spark版本：spark-3.2.0-bin-hadoop3.2 Windows操作系统64位 Spark初次安装 问题描述： 配置完Java环境和Spark路径之后，在cmd中执行Spark-shell时，出现如下错误 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN".
安装pyspark报错ERROR SparkContext:Error initializing SparkContext
最新发布
m0_64948681的博客
03-24 308
很小众的错误问题，谁能想到是计算机自带的问题！记录一次安装pyspark出现的极其离谱的报错问题。
ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not pars
qq_53810226的博客
03-14 5660
ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: ‘<pyspark.conf.SparkConf object at 0x7fb5da40a850>’ 报错信息 22/03/14 10:58:26 WARN NativeCodeLoader: Unable to load native-hadoop library f
2021-10-15
zymacd的博客
10-15 409
ERROR spark.SparkContext: Error initializing SparkContext java.net.BindException: Cannot assign requested address: Service 'sparkDriver' failed after 16 retries (on a random free port)! Consider explicitly setting the appropriate binding address for the s
SparkContext: Error initializing SparkContext解决方法
热门推荐
koooooooo5的博客
11-01 2万+
SparkContext: Error initializing SparkContext解决方法 Spark在配置高可用集群中，出现报错 ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectExcep
解决ERROR spark.SparkContext: Error initializing SparkContext
mo
11-25 7452
今天在开启spark-shell时报了如下错误: 从报错的日志上面来看可以知道它说SparkContext初始化异常，并且和hadoop的端口通信的时候显示连接失败。刚开始的时候我检查了启动的spark进程发现也没问题。 [root@hadoop102 logs]# showjps.sh ===================== root@hadoop102 ======================= 7315 Worker 7395 Jps 7237 Master ===============
ERROR SparkContext: Error initializing SparkContext. （）
yujinlong2002的博客
03-20 1953
在配置yarn的配置文件中设置的内存过小，不能够支持spark程序的运行所以出现了报错。在将spark程序提交到yarn中运行的时出现以下报错。
ERROR SparkContext: Error initializing SparkContext.org.apache.spark.SparkException：无效的 Spark URL：
HYSliuliuliu的博客
12-05 1万+
ERROR SparkContext: Error initializing SparkContext.org.apache.spark.SparkException：无效的 Spark URL：在idea中用scala编写spark的WordCount的案例时，老是报错，scala能运行其他程序scala没有问题，依赖按照视频教程也成功下载，Maven仓库也下载的巴巴适适，报的错误太多了，我节选有价值的错误信息：
Spark启动失败 Error initializing SparkContext | FileNotFoundException
qq_56335560的博客
04-12 1353
在启动spark-shell时，无法初始化，hdfs上没有对应的日志存放目录，但是hdfs陷入安全模式无法关闭，只能删除所有集群上的所有数据和日志，格式化hdfs，手动创建spark要求的目录。
Spark运行出现Error initializing SparkContext
qq_37543213的博客
05-12 3395
Spark运行出现Error initializing SparkContext1.问题描述2.问题解决 1.问题描述 idea中运行spark时，创建SparkConf和创建创建SparkContext报错 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Invalid Spark URL: spark://HeartbeatReceiver@xxxxxxxxxxx:4126 2.
An internal error occurred during: java.lang.NullPointerException
07-27
实用开发工具Myeclipse，在启动tomcat时，不间断的会弹出 An internal error occurred during: "Calculating completion proposals...". java.lang.NullPointerException的错误对话框！
spark-assembly linux下运行local模式缺失包
04-12
18/04/12 14:14:18 ERROR SparkContext: Error initializing SparkContext. com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version' at ...
honeybadger-ruby：Ruby gem向honeybadger.io报告错误
02-01
Ruby的Honeybadger 这是将应用程序与 :high_voltage: 。 当发生未捕获的异常时，Honeybadger会将相关数据过帐到您环境中指定的Honeybadger服务器。 文档和支持 有关全面的文档和支持，。 变更日志 ...
解决xp系统中cadence错误error initializing com property pages
11-27
解决xp系统中cadence错误error initializing com property pages。
mysql启动失败：Redirecting to /bin/systemctl restart mysql.service Failed to restart mysql.service: Unit
Big_data_implicit_
11-27 1万+
今天出现一个小问题： [root@linux01 hive3.1.2]# service mysql start Redirecting to /bin/systemctl restart mysql.service Failed to restart mysql.service: Unit not found. 排除过程： 1、检查mysql还在吗？ [root@linux01 hive3.1.2]# whereis mysql mysql: /usr/local/mysql /usr/l
git:Clone failed: git: ‘permission denyed‘及Clone failed: git: ‘remote-https‘ is not a git command.
Big_data_implicit_
12-03 5417
在centos中 1、Clone failed: git: 'permission denyed' , Could not read from remote repository. 问题原因：git没有设置公钥时，将git的帐号（邮箱）生成ssh key ssh-keygen -t rsa -C "[email protected]" 根据提示，找到/root/.ssh/id_rsa.pub 将其中的内容填写到Gitee账号中的公钥中 安全设置中－SSH公钥，添加公钥，标题随便填..
idea中scala的类型自动补全与关闭：Type Annotations
Big_data_implicit_
11-12 2023
初学时建议全部打开，知道当前操作的是什么类型的数据，帮助更好理解 打开路径：Settings->Editor->Code Style->Scala->Type Annotations 将所有选项全选即可。 关闭只需要全部去掉勾选，即可体验更简洁的代码 ...
ERROR spark.SparkContext: Error initializing SparkContext.
11-27
这个错误是由于SparkContext初始化时出现问题导致的。具体来说，第一个引用中的错误是因为系统内存不足，需要增加堆大小。而第二个引用中的错误是因为所需的执行器内存超过了集群的最大阈值。需要检查'yarn.scheduler.maximum-allocation-mb'和'yarn.nodemanager.resource.memory-mb'的值是否正确设置。 解决这个问题的方法取决于具体的情况。如果是第一个引用中的问题，可以通过增加堆大小来解决。可以通过以下方式增加堆大小： ```shell spark-submit --conf spark.driver.memory=4g --conf spark.executor.memory=4g your_app.py ``` 这将把驱动程序和执行器的内存限制都设置为4GB。如果需要更多的内存，可以相应地增加这些值。 如果是第二个引用中的问题，需要检查集群的配置。可以通过以下方式检查和修改配置： 1. 检查'yarn.scheduler.maximum-allocation-mb'和'yarn.nodemanager.resource.memory-mb'的值是否正确设置。可以使用以下命令检查： ```shell yarn getconf -confKey yarn.scheduler.maximum-allocation-mb yarn getconf -confKey yarn.nodemanager.resource.memory-mb ``` 2. 如果这些值太低，可以通过以下方式修改它们： ```shell yarn-site.xml <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> </property> ``` 这将把'yarn.scheduler.maximum-allocation-mb'和'yarn.nodemanager.resource.memory-mb'的值都设置为8192MB。如果需要更多的内存，可以相应地增加这些值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

pub.ryan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值