Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found

最新推荐文章于 2022-03-27 20:56:39 发布
最新推荐文章于 2022-03-27 20:56:39 发布
阅读量2.5k 收藏
点赞数 1
文章标签： spark on yarn hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fansy1990/article/details/87276487
版权
在Spark运行于YARN上时遇到'Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found'的错误。问题源于Classpath缺少datanucleus-api-jdo.jar。尝试将Hive的lib添加到Classpath，但引发新的冲突，由于多个derby.jar导致的安全异常。解决方案是使用HDP中spark-client的lib替换Hive的lib，避免derby.jar冲突，问题得到解决。
摘要由CSDN通过智能技术生成

Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found

Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found

问题描述：
一次应用程序迁移底层Hadoop集群（由CDH迁移至HDP），在发起Spark On YARN任务的时候，Spark任务连接Hive异常，出现如标题所示的异常。
软件版本：

软件 版本
HDP 2.6.4.0-91
Spark 1.6.3
Hadoop 2.7.3

1. 思路第一步

  1. 首先查找此类，此类是在datanucleus-api-jdo.jar中的，如下图所示；
    JDOPersistenceManagerFactory
  2. 也就是说，在Spark On YARN调用的时候其Classpath并没有该类，考虑添加此jar包到Classpath；
  3. 此jar包在Hive的安装目录，直接把整个Hive的lib添加到Classpath；

<

最低0.47元/天 解锁文章
fansy1990
关注
hive报错
u014545085的博客
11-27 783
hive报错 Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeExc...
ClassLoader not found datanucleusXXXXX
u012543819的博客
07-05 221
&lt;dependency&gt;--&gt; &lt;!--&lt;groupId&gt;org.datanucleus&lt;/groupId&gt;--&gt; &lt;!--&lt;artifactId&gt;datanucleus-core&lt;/artifactId&gt;--&gt; &lt;!--&lt;version&g
hive创建表时出现MetaException(message:An exception was thrown while adding/validating class(es)
yj2434的博客
08-14 1241
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:An exception was thrown while adding/validating class(es) : You have an error in your SQL syntax; check the manual that corresponds to your MySQL serv
【大数据】Linkis安装及使用各种引擎过程中常见的一些问题及解决方法
像风走过八千里
03-27 3966
我们都知道Linis是连接多个计算存储引擎的中间间，我们可以提交执行SQL、Pyspark、HiveQL、Scala等脚本。Linis中有一个专门处理引擎的模块（Linkis/linkis-engineconn-plugins）,我们安装Linis后，默认的引擎只有，但其支持的引擎很多，所以，如果我们想要用默认之外的其他引擎，需要自己安装 引擎安装 （1）在Linkis/linkis-engineconn-plugins下找到要安装的引擎，进行编译打包 （2）打包成功后相应target下会有个out.zip
Spark-遇到的坑-启动spark报错
a1032818891的博客
07-26 1万+
1.解决措施： Please instead use:  - ./spark-submit with --num-executors to specify the number of executors  - Or set SPARK_EXECUTOR_INSTANCES  - spark.executor.instances to configure the number of instanc...
解决Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
u014034497的专栏
05-29 1353
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 175 in stage 4.0 failed 8 times, most recent failure: Lost task 175.7 in stage 4.0 (TID 421, bsa100):...
Spark2.4.2报错总结
浅汐
12-25 916
报错一: 背景 启动spark-shell后查询hive中的表信息，报错 $SPARK_HOME/bin/spark-shell spark.sql("select * from student.student ").show() 日志 Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.ha...
大数据-hadoop-Hive启动报错（2019-06-01）
Genebrother
06-01 1013
关于大数据学习的最好的网站就是官网http://www.apache.org/ 参考资料：http://www.apache.org/ 免责声明：很多资料都是网上一步步搜集到的，感谢各位前辈默默无闻的奉献与付出，资料过多，不一一感谢，如果侵权，请及时联系作者本人或者投诉至平台，我会第一时间删除，纯分享。 关于hive的启动报错，一开始我们会遇到很多的问题，慢慢的遇到多了，就可...
执行spark sql 遇到的问题
baiyangfu的专栏
10-23 1万+
总结一下执行spark sql遇到的问题： 没
Spark读取Hive on Tez任务问题
fansy1990的专栏
03-18 1393
Spark读取Hive on Tez任务问题 参考 Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found出现的问题后续，由于HDP集群调整Hive引擎为Tez后，出现的问题。具体问题如下： 19/03/18 10:40:16 INFO client.TezClient: Session mode. Star...
HIVE 配置遇到的所有错误
理性的浪漫的程序人生
08-04 3957
Starting Hive Metastore Server
使用java代码提交Spark的hive sql任务，run as java application
weixin_33720956的博客
05-03 249
为什么80%的码农都做不了架构师？>>> ...
tez跑任务报错
zxl1033394132的专栏
04-27 8144
tez跑任务报错： java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.jav
DataNucleus之JDO操作示例
云原生之家
05-08 5060
JDO(Java Data Object )是Java对象持久化的新的规范，也是一个用于存取某种数据仓库中的对象的标准化API。注意JDO是一种规范，而不是一个产品。而DataNucleus正是实现JDO规范的产品之一，JDO实现产品还有FOStore、JPOX等。当然DataNucleus不仅实现了JDO规范，还实现了JPA(java另一持久化规范)，也就是说有了DataNucleus，你既可以
hive 启动问题记录 及解决方法
JIM110的专栏
04-06 4万+
问题1： Caused by: javax.jdo.JDODataStoreException: Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your Met
hadoop hbase hive 常见问题解决
热门推荐
lhy66的专栏
03-24 12万+
Hadoop常见问题，hbase常见问题，hive常见问题。结合网络资料 和自己遇到的整理。
Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver. at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58) at org.datanucleus.store.rdbms.connectionpool.HikariCPConnectionPoolFactory.createConnectionPool(HikariCPConnectionPoolFactory.java:66) at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:213) ... 81 more
最新发布
06-10
这个错误信息是因为在 DataNucleus RDBMS 连接池中没有找到指定的数据库驱动程序 "com.mysql.jdbc.Driver"。...如果你已经添加了正确的驱动程序但仍然出现此错误，请确保驱动程序的版本与你的 DataNucleus 版本兼容。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值