spark-submit报错java.lang.IllegalStateException: User did not initialize spark context!

最新推荐文章于 2021-06-27 11:52:45 发布
最新推荐文章于 2021-06-27 11:52:45 发布
阅读量1w 收藏 1
点赞数 5
分类专栏： spark IDEA 文章标签： IDEA spark spark-submit
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43079984/article/details/88712129
版权

在IDEA上编写spark程序，打成jar包之后，上传到服务器，然后以yarn cluster模式提交:bin/spark-submit --class com.BRC.spark.WordCount --master yarn --deploy-mode cluster ./wordcount-1.0-SNAPSHOT.jar hdfs://test-szzt01:8020/test/hello.txt hdfs://test-szzt01:8020/test/output2
出现下列错误：
在这里插入图片描述
查看resource manager的8088端口，找到任务所在的log日志：
在这里插入图片描述
出现这种情况的原因是在IDEA中编写程序时，加入了如下代码
在这里插入图片描述

kangker
关注
  • 5
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Spark报错java.lang.IllegalStateException: User did not initialize spark context!
龍 博客
06-04 6817
这种错误往往让人摸不着头闹，日志完全看不出点在哪：以下是错误信息： java.lang.IllegalStateException: User did not initialize spark context! at org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:512) at ...
spark grpc 在master运行报错 exitcode13 User did not initialize spark context
最新发布
lonsonlee的专栏
08-25 1976
protobuf-maven-plugin 0.6.1 降到 0.5.0 同时 io.grpc:protoc-gen-grpc-java:1.54.0 com.google.protobuf:protoc:21.0-rc-1。升版本 0.5.0升到 0.6.1 同时 io.grpc:protoc-gen-grpc-java:3.21.9 com.google.protobuf:protoc:3.21.9。
【bug解决】User did not initialize spark context 的解决
格格颜心
02-20 7584
本来调试的好好的spark代码，加了一个参数读入的问题后，瞬间报这个错误。 问题所在，在定义spark context变量之前写了太多代码。 解决方法： 将代码移至spark context定义之后。...
spark提交yarn-cluster模式错误
LZX的博客
02-07 1040
错误场景描述 spark_submit.sh 如下： spark-submit --master yarn --deploy-mode cluster --driver-memory 2g --num-executors 3 --executor-cores 1 --executor-memory 4g --queue spark --class com.aisino.controller.Test11 com_aisino_warehouse-1.0-SNAPSHOT-jar-with-depende
Java异常之—-Caused by: java.lang.IllegalStateException: Method has too many Body parameters
01-20
异常：Caused by: java.lang.IllegalStateException: Method has too many Body parameters Caused by: java.lang.IllegalStateException: Method has too many Body parameters: public abstract ...
java.lang.IllegalStateException: Cannot call sendError() after the response has
04-21
在Java的Web开发中，`java.lang.IllegalStateException: Cannot call sendError() after the response has been committed` 是一个常见的错误，通常发生在尝试在HTTP响应已经发送到客户端之后调用`sendError()`方法...
Android异常 java.lang.IllegalStateException解决方法
01-04
1. java.lang.IllegalStateException: No wrapped connection. 2.java.lang.IllegalStateException: Adapter is detached. 原因： 1.单线程一次执行一个请求可以正常执行，如果使用多线程，同时执行多个请求时就会...
java.lang.IllegalStateException: getOutputStream() has already解决办法
09-17
纠结了半天的 java.lang.IllegalStateException: getOutputStream() has already。这个问题困扰了半天,在网上查阅了大量资料 出这个错误一般就是下面2个.....
java.lang.IllegalStateException: OutputStream already obtain
05-17
标题 "java.lang.IllegalStateException: OutputStream already obtain" 涉及到的是Java编程中的一个常见错误，特别是当处理I/O流时。这个异常通常在尝试获取已经存在的OutputStream实例时抛出，表明该输出流已经被...
Spark 任务常见错误以及解决方案
热门推荐
qq_31806205的博客
09-23 1万+
Table or view not found: aaa.bbb The column number of the existing table dmall_search.query_embedding_data_1(struct<>) doesn’t match the data schema(struct<user_id:string,dt:string,sku_list:array>); Cannot insert into table ddw_ware.purchase_d.
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3102
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
初学python需要弄清楚的几个问题
qq_43701760的博客
01-23 262
看视频在学习python，里面的示例代码都有敲，最后还是有一点凌乱 1，学习python会涉及很多第三方库 与 模块，常用的下载方式是 使用 pip install XXX 以下载机器学习库的 numpy 为例： pip3 install numpy Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by ‘NewConnectionError(’&lt
Spark源代码::Spark多线程::NettyRpcEnv.ask解读
艺术码农农场
06-15 1660
背景 Spark中有很多异步处理的例子，每一个地方都值得好好去审视一番，对辅助理解spark的机理以及为自己写出优雅的代码都会有很大的帮助。 NettyRpcEnv.ask解读 RpcEnv作用 NettyRpcEnv是RpcEnv的在spark中的唯一一个实现。RpcEnv是什么呢，可以先看一下它的class头信息 /** * An RPC environment. [[RpcEndpoint]]s need to register itself with a name to [[RpcEnv]] to
用yarn提交pyspark程序
euler1983的专栏
06-27 1120
首先验证sparkPi的demo可以运行成功 如果这个跑不成功，检查下/usr/local/spark/conf/spark-env.sh里是否设置了yarn_conf_dir： 用yarn提交pyspark程序 报错： 异常信息：pyspark.sql.utils.AnalysisException: ‘java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.h.
Spark执行失败-SparkContext did not initialize after waiting for 100000 ms
zl
09-18 1128
执行其刚写完的项目进行测试时，遇到以下问题 ERROR yarn.ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application 检查代码(Scala)，发现其将SparkContext的创建写在了class中，并且其之前还有很多其他的业务逻辑代码 object S.
Spark任务提交流程
不积跬步无以至千里
05-26 1035
Spark的任务, 生产环境中一般提交到Yarn上执行. 具体用法如下 spark-submit \ --class com.gaia.familymart.test.ConnectES \ --name connES \ --master yarn \ --deploy-mode client \ --jars /home/fmtt/elasticsearch-spark-20_2.11-7.5.0.jar \ --driver-memory 1G \ --executor-memory 6G \ -
ava.lang.IllegalStateException: User did not initialize spark context!
06-07
这个错误提示意味着在你的代码中尝试使用Spark上下文（Spark context）之前，没有对其进行初始化。Spark上下文是Spark应用程序的核心部分，它负责管理Spark应用程序的各种资源。你需要在代码中添加初始化Spark上下文的步骤，通常可以使用以下代码进行初始化： ``` SparkConf conf = new SparkConf().setAppName("MyApp"); JavaSparkContext sc = new JavaSparkContext(conf); ``` 在这个例子中，你可以将"MyApp"替换为你的应用程序名称，然后使用JavaSparkContext对象执行各种Spark操作。如果你已经初始化了Spark上下文，但仍然遇到这个错误，那么可能是因为上下文的初始化方法出现了问题。你需要仔细检查代码，找出可能的问题并进行修复。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值