spark sql 报错ClassLoaderResolver for class "" gave error on creation : {1}

最新推荐文章于 2021-02-24 11:17:47 发布
最新推荐文章于 2021-02-24 11:17:47 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 错误解决 文章标签： spark sql错误解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38426934/article/details/81902830
版权
本文主要介绍了在使用Spark SQL支持Hive时遇到的错误：ClassLoaderResolver for class "" gave error on creation。问题源于plugin.xml文件不完整，导致DataNucleus无法正常工作。解决方法是手动合并三个plugin.xml文件，并在打包时使用maven-shade-plugin或sbt进行配置，确保声明datanucleus的相关类。
摘要由CSDN通过智能技术生成

在spark sql支持hive时，我们在idea 上编译不会出错，在生成jar包时缺报错

]  Error creating validator of type org.datanucleus.properties.CorePropertyValidator
ClassLoaderResolver for class "" gave error on creation : {1}

。。。。。

最主要的提示在这里

org.datanucleus.exceptions.NucleusUserException: Persistence process has been specified to use a ClassLoaderResolver of name "datanucleus" yet this has not been found by the DataNucleus plugin mechanism. Please check your CLASSPATH and plugin specification.

已经说明是plugin.xml文件的问题，在查看datanucleus.的三个jar包时发现确实有三个plugin.xml,把他们打开时确发现他们三个的内容完全不一样，很明显，在生成jar 包时这三个文件必不可少，而查看spark sql项目生成的jar包时只有这三个plugin.xml的一部分，意思就是说：三个plugin.xml并没合并！datanucleus并不能正常使用！

解决：必须将这三个plugin,xml手动合并，可以在这里下载https://download.csdn.net/download/qq_38426934/10616844

在生成jar包时需要用打包插件声明da

最低0.47元/天 解锁文章
杜浪之名
关注
专栏目录
spark udf报错 java.lang.UnsupportedOperationException: Schema for type org.apache.spark.sql.Row is not
yy的博客
01-06 1074
udf 输入Row 输出Row 我的输入数据类型: array<array<struct<column1:bigint,column2:string,column3:string,column4:string,column5:bigint,column6:bigint>>> 输出数据类型: array<struct<column1:bigint,column2:string,column3:string,column4:string,column5:b
Apache Spark启动spark-sql报错
终回首的博客
08-02 2847
一、问题 安装好spark后，执行spark-sql报错Exception in thread “main” java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 命令 ./bin/spark-sql 报错日志： 2021-08-02 15:00:04,213 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin
Spark Hive使用中遇到的坑
shipengyy的专栏
10-29 6323
当前使用的spark版本是1.0.2，spark-assenbly已经包含了hive，可以直接使用。 Spark hive通过把hive-site.xml加载到classpath中的方式来读取hive连接元数据，我这里通过java代码动态的把hive-site.xml加载到classpath里 String hiveConfDir = System.getenv( "HIVE_CONF_D
spark java hive job_Spark中的Spark Hive Context hql问题 – 在yarn中运行spark job时
weixin_34112399的博客
02-24 216
我们有一个火花应用程序,使用火花提交纱线运行.跑步的时候java中的sparkHiveContext.hql(“show databases”)得到以下异常ClassLoaderResolver for class "" gave error on creation : {1} org.datanucleus.exceptions.NucleusUserException: ClassLoader...
Spark SQL window functions遇到的问题
weixin_30517001的博客
01-18 500
在使用org.apache.spark.sql.functions中的Window functions过程中，遇到了几个棘手的问题，经过不断搜寻和多次试验，终于找到了解决方法。 首先看例子： import org.apache.spark.rdd.RDD import org.apache.spark.sql.{SaveMode, Row} import org.apache.spar...
Spark SQL 报错总结
weixin_33798152的博客
05-21 2280
报错一: 背景 启动spark-shell后查询hive中的表信息，报错 $SPARK_HOME/bin/spark-shell spark.sql("select * from student.student ").show() 日志 Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hi...
spark报错：ERROR SparkUI: Failed to bind SparkUI，解决办法
x_lock的博客
05-21 1万+
failed to bind sparkUI 错误原因：每一个Spark任务都会占用一个SparkUI端口，默认为4040，如果被占用则依次递增端口重试。但是有个默认重试次数，为16次。16次重试都失败后，会放弃该任务的运行。
执行spark sql 遇到的问题
热门推荐
baiyangfu的专栏
10-23 1万+
总结一下执行spark sql遇到的问题： 没
DataNucleus之JDO的问题
u012847257的专栏
12-20 369
JDO(Java Data Object )是Java对象持久化的新的规范，也是一个用于存取某种数据仓库中的对象的标准化API。注意JDO是一种规范，而不是一个产品。而DataNucleus正是实现JDO规范的产品之一，JDO实现产品还有FOStore、JPOX等。当然DataNucleus不仅实现了JDO规范，还实现了JPA(java另一持久化规范)，也就是说有了DataNucleus，你既可以
在spark中运行HiveContext
叫我小名
02-12 3556
1.添加配置程序只需要读取hive配置文件hive-site.xml，不用hdfs-site.xml.若在ide中直接运行，可以将配置文件直接放在工程resources目录下一起打包，程序会自动到该目录下读取。 也可以spark-submit时在–files中设置hdfs路径
spark任务报错：ERROR Client:Application diagnostics:Diagnostic messages truncated,showing last 65536 chars out of 164975
最新发布
05-31
这个报错信息表明应用程序的诊断信息被截断了，只显示了最后的65536个字符，原因可能是应用程序输出的诊断信息太多，超出了最大限制。为了查看完整的诊断信息，您可以尝试以下方法： 1. 查看应用程序的日志文件，...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值