SparkSQL2.4.6 报错：org/codehaus/janino/InternalCompilerException

最新推荐文章于 2024-04-18 21:12:58 发布
最新推荐文章于 2024-04-18 21:12:58 发布
阅读量2.4w 收藏 2
点赞数 1
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32252917/article/details/108636815
版权

SparkSQL中执行了Dataset的action操作出现下面的异常：

Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
    at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafeProjection$.create(GenerateSafeProjection.scala:197)
    at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafeProjection$.create(GenerateSafeProjection.scala:36)
    at org.apache.spark.sql.catalyst.expressions.codegen.CodeGenerator.generate(CodeGenerator.scala:1321)
    at org.apache.spark.sql.Dataset.org$apache$spark$sql$Dataset$$collectFromPlan(Dataset.scala:3272)
    at org.apache.spark.sql.Dataset$$anonfun$head$1.apply(Dataset.scala:2484)
    at org.apache.spark.sql.Dataset$$anonfun$head$1.apply(Dataset.scala:2484)
    at org.apache.spark.sql.Dataset$$anonfun$52.apply(Dataset.scala:3254)
    at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:77)
    at org.apache.spark.sql.Dataset.withAction(Da
最低0.47元/天 解锁文章
浅汐王
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java8看不到源码-fabric-api-archive:https://gerrit.hyperledger.org/r/#/admin/
06-04
java8 看不到源码孵化通知 该项目是Incubation 中的 Hyperledger 项目。 它被提交给社区并记录在案。 什么孵化限嗣继承的信息可以在找到。 Fabric-API Fabric-API 带有一个客户端。 虽然该项目代表了多年开发的成果，但它仍在进行中，我们正在更换多个组件、添加其他组件并与其他开源项目集成。 这尤其涉及安全性、可扩展性和隐私。 Fabric-API 是由一个在金融机构工作了数十年的团队根据企业架构的要求构建的。 它在代码和运行时级别都具有高度模块化的设计，以允许与遗留系统集成。 构建和运行 先决条件 下面的版本号表示使用的版本。 git 2.4.6 () Maven 3.3.3 () Java 1.8.0_51 () JCE 8 (Java 加密扩展) () Protobuf 编译器 3.0.0-beta2() 可选的 JMS 总线提供者 例如 Apache ActiveMQ 5.11.1 () 在 OSX 上安装先决条件 brew update brew tap homebrew/versions brew install git brew in
Spark异常：org/codehaus/janino/InternalCompilerException
weixin_44455388的博客
07-20 8816
执行SparkSQL时出现异常： Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafeProjection$.create(GenerateSafeProjection.scala:197) at org.a
spark从hdfs中加载orc文件出现java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException报错
最新发布
m0_69460676的博客
04-18 1401
错误通常与运行环境缺少所需的依赖库有关，特别是与编译或运行时代码生成相关的库。我写一个方法让sparkSession实例去加载hdfs分布式文件系统中的数据信息，并且简单的执行过滤和读取信息，已经不会出现报错，下一步我们就可以使用mllib等机器学习库或自定义的权重算法实现大数据分析，生成用户个性化内容了。注意，如果您通过添加janino后，代码执行时，报错依然没有解决，那么可能是你的spark版本过旧，并不支持janino的最新特性，那么就在spark版本不变的情况下回退janino的版本：如图。
72 java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
970655147的专栏
11-13 4419
前言 呵呵 最近因为有一次 包版本的升级, 因此 项目在一些场景下面会出现一个异常 主要的改动是 原来的 janino 的版本是 3.0.9, 然后使用了 spring-boot-starter-parent 里面的 janino 的配置的版本 3.1.2, 呵呵 出现问题之后 把他版本改回去 之后就没问题了 然后当时测试的时候 测试环境 和我这里 都会出现问题, 但是 在我们同事的机器上面却"没有问题", 这个也是 当时让我有些疑惑的地方, 呵呵 这里一起来看看 所以 这里 来看一下这个问题...
【总结】Springboot 从2.0.0升级至2.3.12版本hive使用报错问题解决
|] 大世界，小人物
04-13 465
公司springboot 版本终于从老古董2.0.0.release 升到2.3.12版本了，应用启动、系统登陆都正常，但在回归验证hive时，spark sql 操作hive相关的功能却用不了。原因：springboot 从2.0.0.release升级至 2.3.12.release后，jackson-module-scala_2.11 默认升到2.11.0版本了。原因：springboot 从2.0.0.release升级至 2.3.12.release后，janino 默认升到3.1.4。
Caused by: java.lang.ClassNotFoundException常见异常解决方法
关注我看更多东西
05-19 7万+
常见的Caused by: java.lang.ClassNotFoundException异常原因
Caused by: java.lang.ClassNotFoundException常见异常解决方法！
热门推荐
随风
03-23 14万+
常见的Caused by: java.lang.ClassNotFoundException异常原因：ClassNotFoundException属于checkException（检查异常），一般在项目启动的时候出现。出现该问题原因归纳为：1. 没有正确的导入jar导致。2. 项目中引用了多个版本的jar，导致版本冲突，由于版本的升级，可能所使用的方法已经被废弃。3. 由于系统中加载web.xml...
java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
weixin_45744450的博客
08-29 3556
解决Exception in thread “main” java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException 问题描述 spark读取hdfs文件时候报错 解决方法 <dependency> <groupId>org.codehaus.janino</groupId> <artifactId>janino</artifactI
Exception in thread “main“ java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerExcep
T_Y_F_的博客
02-03 682
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerExcep
OpencV2.4.6 API/Android/UseGuide/Titorials
07-16
此文档是花钱购买的，在此分享。可以认为是OpenCV2.4.6.1的离线版，支持搜索。包括所有官方文档的内容，无需安装直接阅读。
java8看不到源码-fabric-api:只读历史存储库。当前的开发位于https://gerrit.hyperledger.org/r/#
06-04
2.4.6 () Maven 3.3.3 () Java 1.8.0_51 () JCE 8 (Java 加密扩展) () Protobuf 编译器 3.0.0-beta2() 可选的 JMS 总线提供者 例如 Apache ActiveMQ 5.11.1 () 在 OSX 上安装先决条件 brew update brew tap homebrew...
树洞外链 v2.4.6
12-02
树洞外链是一款开源的PHP外链网盘系统，界面简洁友好，支持阿里云OSS、又拍云、七牛、本地、远程五种储存方式，支持多用户系统。
java,c/c++,php,c#安全编码规范
05-23
2.4.6 不要使用过时、陈旧或低效的方法 20 2.4.7 数组引用问题 20 2.4.8 不要产生内存泄露 20 2.5 异常处理 21 2.5.1 不要忽略捕获的异常 21 2.5.2 不允许暴露异常的敏感信息 21 2.5.3 不允许抛出RuntimeException, ...
Caused by: java.lang.ClassNotFoundException问题总结
qq_46411309的博客
07-30 1万+
Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.api.bridge.java.internal.BatchTableEnvironmentImpl 一、原因找不到BatchTableEnvironmentImpl 确实没有。 二、 解决 分析原因：下载的jar包里不存在方法实现，可能是因为网络原因；也有可能配的依赖就没有这个实现。 由于用到这个方法的程序是批处理，所以应该导入批处理依赖 <dependency
Caused by: java.lang.ClassNotFoundException: org.objectweb.asm.ClassVisitor错误原因与解决办法
evilcry2012的专栏
12-18 7534
Caused by: java.lang.ClassNotFoundException: org.objectweb.asm.ClassVisitor错误原因与解决办法   Caused by: java.lang.ClassNotFoundException: org.objectweb.asm.ClassVisitor错误原因与解决办法。 1、错误描述   [plain] view ...
sparksesion java_【异常】SparkSession执行action操作时java.lang.ClassNotFoundException: org.codehaus.commons.c...
weixin_39727402的博客
02-25 332
org.spark_project.guava.util.concurrent.ExecutionError: java.lang.NoClassDefFoundError: org/codehaus/commons/compiler/UncheckedCompileExceptionat org.spark_project.guava.cache.LocalCache$Segment.get(L...
ClassNotFoundException: org.codehaus.janino.InternalCompilerException
hlp4207的博客
04-19 9170
Spark SQL创建DF时出现异常 异常信息 Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1661) at org.apache.spar...
解决Caused by: java.lang.ClassNotFoundException: org.springframework.context.ApplicationContext
security_linsho的博客
04-15 4181
这是一个关于IDEA启动tomcat的一个错误 首先点击File找到下面这个选项 然后点击左侧 然后找到对右侧这个地方右击选择下面图示这个地方 最后选择APPLY 就可以了 可以看我完全项目Spring集成WEB环境（简单应用）_Outlier_Lin的博客-CSDN博客 ...
cd /softwares/spark-2.4.6/bin
07-13
您想要切换到路径`/softwares/spark-2.4.6/bin`，可以使用`cd`命令来进行路径切换。请注意，在Linux中，路径是区分大小写的，因此请确保路径的大小写与实际文件系统中的路径一致。 只需键入以下命令即可切换到目标...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值