37. Spark-shell启动时，报如下错误 java.lang.AssertionError: assertion failed: unsafe symbol SparkSession (ch

最新推荐文章于 2024-05-10 09:30:00 发布
最新推荐文章于 2024-05-10 09:30:00 发布
阅读量1.8k 收藏
点赞数
文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq0719/article/details/103891792
版权

此报错，实属罕见。排除了spark配置及集群参数等后，追本溯源，怀疑是服务器上误上传了一个jar包到了spark指定目录，删掉后，问题解决。

 

 

删掉

/usr/hdp/2.6.5.0-292/spark2/jars/ Spark该目录下存在的一个jar包： XXXXX.spark-XXXXX-0.0.1.jar (此jar包，是某项目用到的jar包，是误操作上传到此目录)。

即可

 

此贴来自汇总贴的子问题，只是为了方便查询。

总贴请看置顶帖：

pyspark及Spark报错问题汇总及某些函数用法。

https://blog.csdn.net/qq0719/article/details/86003435

元元的李树
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java.lang.AssertionError: assertion failed: No plan for HiveTableRelation的解决方法
Lestat.Z.的博客
05-13 5483
前言 在使用pyspark跑sparksql的时候出现了类似如下的错误： java.lang.AssertionError: assertion failed: No plan for HiveTableRelation .... 一般来说这种错误的产生是因为在创建SparkSession对象的时候HiveContext没有被启用。 查了一下代码， 果不其然： #In python spark ...
spark on yarn 能输出结果 但出现AssertionError
sunflower_cao的专栏
08-05 5398
今天在spark1.0.1上面自己写了一个javawordcount  然后打成jar包 提交到yarn上面执行： 运行到最后可以在hadoop的stdout里边看到正常的结果输出 hadoop: 1 : 1 hello: 3 2.2.0: 1 world: 1 复制代码 但是在stderr里边出现 in 4.089 s 14/08/05 13:
【Pyspark】提取Hive数据报错 java.lang.AssertionError: assertion failed: No plan for HiveTableRelation
yuxeaotao的博客
06-02 1008
一般来说这种错误的产生是因为在创建SparkSession对象的时候HiveContext没有被启用。创建SparkSession对象记得启用HiveContext。
assertion failed: Failed to get records for spark-executor3 24025 after after polling for 1000
Why Do You Run
04-01 3387
这个问题有必要记录一下！！！！ 报错信息如下 任务运行时，Task锯齿图 有人说加参数 "spark.streaming.kafka.consumer.poll.ms", 512 如果你尝试这个成功了那么恭喜你，可以关闭此博客了！ 我们项目遇到了这个问题，加了参数没得用，而且导致job失败，本来job虽然会慢一点，但是加了这个参数则会报上面截图的错误！ 左思右想不知道怎么回事儿！ 带宽问题？...
unsafe symbol Unstable (child of package InterfaceStability) in runtime reflection universe
qq_41587243的博客
06-16 943
问题： java.lang.AssertionError: unsafe symbol Unstable (child of package InterfaceStability) in runtime reflection universe at scala.reflect.internal.Symbols$Symbol.<init>(Symbols.scala:237) at scala.reflect.internal.Symbols$TypeSymbol.<init>
scrcpy投屏 AssertionError: java.lang.reflect.InvocationTargetExcep
02-18
标题中的问题“scrcpy投屏 AssertionError: java.lang.reflect.InvocationTargetException”是用户在尝试使用Scrcpy时遇到的一个常见错误。这个错误通常意味着在执行某个方法时，Java运行时环境遇到了未预期的情况。...
WebLogic错误 java.lang.AssertionError: Registered more than one
04-23
在WebLogic Server 9.2至10.0版本中，用户可能会遇到一个特定的错误，即“java.lang.AssertionError: Registered more than one instance with the same objectName”。这个错误主要表现为服务器启动后，在Admin ...
Assertions-in-java.rar_REvision_site:www.pudn.com
09-20
Java的断言默认是禁用的，可以在启动JVM时通过`-ea`或`-enableassertions`命令行选项来启用。同样，可以使用`-da`或`-disableassertions`禁用特定包或类的断言。例如，`-ea:com.mycompany`将只启用`com.mycompany`...
解决pytorch报错:AssertionError: Invalid device id的问题
09-18
在PyTorch中，`AssertionError: Invalid device id` 是一个常见的错误，通常发生在尝试将模型或张量分配到无效的GPU设备时。这个错误通常是由于以下几种情况引起的： 1. **多GPU环境与单GPU环境不匹配**： 在描述...
java所有运行时异常以及错误.doc
最新发布
06-28
### Java 运行时异常与错误详解 #### 一、概述 Java 作为一种广泛使用的编程语言，其强大的异常处理机制确保了程序的健壮性和稳定性。在 Java 中，异常主要分为两大类：**运行时异常**（RuntimeException）和 **...
eclipse启动遇到java.lang.AssertionError: assertion failed的问题
qq_42422526的博客
08-25 1万+
碰到这种小小的令人恶心的小问题就得治！ 好了废话少说！话说： eclipse启动时碰到下边的问题： This is a continuation of log file D:\Java\eclipse\workspace\.metadata\.bak_0.log Created Time: 2018-08-25 08:52:19.585 !ENTRY org.eclipse.e4.ui.w......
Spark Streaming, Kafka receiver, "Failed to get records for ... after polling for 512"
lmb09122508的博客
03-23 4333
javajava.lang.AssertionError: assertion failed: Failed to get records for (...) after polling for 512使用spark streaming处理kafka中的数据，调试过程中，由于程序停了很长时间，导致kafka中挤压了很多数据，再次启动时，遇到了这个报错。网上查了很多资料，尝试了很多参数设置，发现然并...
已解决java.lang.AssertionError: 断言错误的正确解决方法，亲测有效！！！
小明的Java问道之路
05-10 4233
已解决java.lang.AssertionError: 断言错误的正确解决方法，亲测有效！！！
遇到的问题集
时间(实践)是检验真理的唯一标准
01-11 4069
问题1:streaming提交任务产生了堆积 原因 消费偏移量产生了大量的堆积查看sparkUI界面可以得知 由于偏移量由服务端掌握,所以2天堆积的数据达到了5000万条spark任务处理不过来 对策:重置消费偏移量,增大运行存储(需要增加的特别大,因为堆积的数据量太多,需要想办法处理) spark.streaming.unpersist()设置为true，可以自动回收 ...
java.lang.AssertionError 断言错误。
qq_22656655的博客
01-15 9851
java.lang.AssertionError at com.android.tools.idea.gradle.projectView.ModuleNodeIconDecorator.decorate(ModuleNodeIconDecorator.java:50) at com.intellij.ide.projectView.impl.CompoundProjectViewNodeDe...
Spark程序运行常见错误解决方法以及优化
AcceptedLin的博客
08-19 4282
Spark程序运行常见错误解决方法及优化 一.org.apache.spark.shuffle.FetchFailedException 1.问题描述 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 2.报错提示 (1) missing output loc...
java.lang.AssertionError断言错误
热门推荐
我的IT日子
07-07 5万+
測試      @Test     public void testAdd() throws Exception {                           UserManager um = new UserManager();         User u = new User();         u.setUsername("b4");         u.
Debug Assertion Failed解决方法！ ！！
10-28 2万+
VC++调程序出现如下错误:   Debug   Assertion   Failed!        Program:   D:\wyuStud\debug\wyuStud.exe      File:   afx.inl            Line:157      可能问题:1.野指针;2.内存泄露   解决方法:   1.看一看你的程序里是不是有ASSERT（）或VERI
java.lang.assertionerror: assertion failed
03-16
java.lang.AssertionError: 断言失败。 这是Java中的一个异常，通常在使用断言时出现。当断言条件不满足时，就会抛出这个异常。这个异常的出现表明程序中存在错误或者不符合预期的情况。需要检查代码中的断言条件，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值