Spark报错：JDOFatalInternalException: Error creating transactional connection factory

最新推荐文章于 2023-12-26 23:12:10 发布
最新推荐文章于 2023-12-26 23:12:10 发布
阅读量1.1k 收藏
点赞数
分类专栏： 大数据-spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/103345851
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
博客介绍了在使用Spark时遇到的JDOFatalInternalException错误，通过检查HIVE_HOME路径、排查lib下的问题、考虑Spark内置库冲突以及在pom文件中添加依赖四种方法逐步解决问题。尽管在pom中添加依赖解决了报错，但作者对于已设置元数据非本地，为何仍然指向本地的情况感到困惑。
摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

2.背景

写了一个spark测试了

 @Test
  def nowTest(): Unit ={
   
    val spark = SparkSession.builder.appName("JavaStructuredKafka").master
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
spark访问Hive错误Error creating transactional connection factory
Big_data_implicit_
12-13 2592
1、使用windows访问集群时，需要装utils 位置：直接下载https://github.com/cdarlint/winutils 找到对应版本，并在windows环境变量中新建：HADOOP_HOME 2、Error creating transactional connection factory 其它配置请参见之前的一篇配置文章： spark02： 围绕Spark3.0.1为主Hadoop3.2、Mysql、Hbase2.3.3、Hive3.1.2、ZooKeepe...
spark-postgres:适用于Apache Spark的PostgreSQL和GreenPlum数据源
05-24
适用于Apache Spark的PostgreSQL和GreenPlum数据源 一个库，用于使用Apache Spark从Greenplum数据库读取数据并将数据传输到Greenplum数据库，用于Spark SQL和DataFrame。 在将数据从Spark传输到Greenpum数据库时，该...
启动hive时报错：javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
weixin_43467992的博客
01-12 9394
通过hive --service metastore & 命令启动hive时报错： hive下hive -site.xml配置错误，重新配置了下好了（我的hive是整合了hue的） 下面是我的配置信息 hive.server2.thrift.port 10000 hive.server2.thrift.bind.host mini1 hive.server2.long.p...
IDEA中运行SparkSql报javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
森屿旅人996的博客
07-20 1515
在IDEA中运行SparkSql，报错如下 20/07/20 21:16:25 WARN HiveMetaStore: Retrying creating default database after error: Error creating transactional connection factory javax.jdo.JDOFatalInternalException: Error creating transactional connection factory at org.datanuc
MetaException(message:Error creating transactional connection factory)
lkm0522的博客
10-25 4149
hive启动报错信息: MetaException(message:Error creating transactional connection factory) Caused by: MetaException(message:Error creating transactional connection factory) Caused by: javax.jdo.JDOFatalInternalException: Error creating transactional connection fac
Spark-Sql启动报错：Error creating transactional connection factory
热门推荐
METON的博客
08-28 1万+
1、SparkSQL配置    将$HIVE_HOME/conf/hive-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。    将$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。 2、运行SparkQL    在 cd /usr/local/spark,下运行 ./bin/spar
test-transactional:关于spring中@Transactional注解传播属性原理的实验
04-27
test-transactional 关于spring中@Transactional注解传播属性原理的实验 具体方法： 主体形式：a方法调用b方法 a插入数据“one” b插入数据“two” a、b方法都可以有不同的传播级别或者不加事务注解（none）: ...
Transactional:Spring事务性Junit测试
05-19
"Transactional:Spring事务性Junit测试"是一个关于如何在JUnit测试中利用Spring的事务管理特性的主题。 首先，让我们理解Spring中的事务管理。Spring提供了一种声明式和编程式的事务管理方式。声明式事务管理通过在...
transactional-emails:我们产品的交易电子邮件
05-08
交易电子邮件 该存储库包含我们从产品发送的交易电子邮件。 它们可以通过npm安装，也可以发布到此存储库gh-pages分支进行预览。 要部署新版本，请执行以下步骤： SSH到生产 运行节点dist / console configure-...
laravel-transactional-events：用于Laravel的事务感知事件分派器
02-03
用于Laravel的事务感知事件调度程序 此Laravel软件包介绍了可感知事务的事件分派器。 它确保仅在外部事务成功提交后才调度数据库事务中调度的事件。 否则，事件将被丢弃并且永远不会被分派。 注意： 引入了一种新...
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
T_Y_F_的博客
12-20 918
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
spark-sql启动报错：Error creating transactional connection factory
BigData_Mining的博客
04-26 2022
原因：我们在安装Hive时候，是用的MySQL作为元数据服务器的，因此再启动spark-sql时候需要对应的mysql的jar包的支持。解决方案：只需要在启动spark-sql的时候指定mysql-connector-java-5.1.26.jar位置即可。即：bin/spark-sql --driver-class-path /usr/local/hive/lib/mysql-connector...
Spark 连接hive，启动spark-shell报错：Error creating transactional connection factory
qq_32783151的博客
05-09 664
在使用Spark连接HIve，启动spark-shell的时候，报错： Error creating transactional connection factory 输入命令为：./spark-shell --master spark://nodes03:7077 此时已经将$HIVE_HOME/conf/hive-site.xml，$HADOOP_HOME/etc/hadoop/core-site.xml hdfs-site.xml拷贝到$SPARK_HOME/conf下，但是依然报错。 解决办法如下
启动hive报错org.datanucleus.exceptions.NucleusException:Error creating transactional connecCtion factory
最新发布
哇咔咔哇咔的博客
12-26 1033
启动hive报错org.datanucleus.exceptions.NucleusException:Error creating transactional connecCtion factory
spark-shell启动出现的Error creating transactional connection factory解决办法
Hiwes的博客
06-13 4578
版本信息：Spark：2.2.0-bin-2.6.0-cdh5.7.0Hive：1.1.0-cdh5.7.0MySQL：5.7.22问题：在使用Spark连接HIve，启动spark-shell的时候，报错:此时输入命令为：bin/spark-shell --master lcoal[2]此时已经将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下，...
启动SparkSql，报javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
森屿旅人996的博客
07-20 1828
启动SparkSql，报错如下： 20/07/20 08:02:48 WARN metastore.HiveMetaStore: Retrying creating default database after error: Error creating transactional connection factory javax.jdo.JDOFatalInternalException: Error creating transactional connection factory NestedThro
Error in metadata: javax.jdo.JDOFatalInternalException: Error creating transactional connectio
遁入空门
04-28 1223
在hive/lib添加mysql.jar包
hive启动后报错
02-16 304
Error creating transactional connection factory（无法实例化）： 1.操作次数过多，重启MySQL和电脑 转载于:https://my.os...
Caused by: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
06-11
这个错误通常是由于JDO配置或数据库连接配置出现问题导致的。您可以尝试以下几个解决方案： 1. 检查JDO配置文件是否正确配置。例如，确保JDO配置文件中指定的数据源与实际使用的数据源匹配。 2. 确保数据库已正确...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值