推荐系统实现过程中SparkSql整合hive报元信息错误

最新推荐文章于 2024-01-20 21:20:57 发布
最新推荐文章于 2024-01-20 21:20:57 发布
阅读量2.1k 收藏
点赞数 2
分类专栏： 大数据学习路上的坑 文章标签： big data hive spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fqzzzzz/article/details/121586374
版权

问题描述：

错误信息如下：

org.datanucleus.metadata.InvalidClassMetaDataException: Class "org.apache.hadoop.hive.metastore.model.MDatabase" field "org.apache.hadoop.hive.metastore.model.MDatabase.catalogName" : declared in MetaData, but this field doesnt exist in the class!
Caused by: org.datanucleus.exceptions.NucleusUserException: Identifier principalName is unresolved (not a static field)
        }

解决方案：

找了很多资料，都没有解决，其实只是因为我忘记把hive-site.xml导入了
导入hive-site.xml即可

Fqzzzzz
关注
专栏目录
SparkSQL整合Hive
m0_51691291的博客
01-05 1867
SparkSQL整合Hive1、Hive远程模式2、SparkSQL与Hive共用元数据2.1、开启Hive元数据服务2.1.1、修改配置2.1.2、启动服务2.2、拷贝hive-site.xml与mysql驱动2.3、启动SparkSQL2.4、测试使用3、SparkSQL JDBC连接方式3.1、启动Spark JDBC服务3.2、启动beeline3.3、测试使用 1、Hive远程模式 SparkSQL整合Hive需要明白如下结构图 2、SparkSQL与Hive共用元数据 2.1、开启Hive元数
SparkSQL整合Hive与启动HiveServer2
weixin_45484707的博客
10-05 1933
一、Spark整合Hive： ①SparkSQL兼容Hive的源数据库、兼容Hive的自定义函数、兼容Hive的序列化和反序列化。 ②可以用SparkSQL替代Hive或者将Hive的引擎由MapReduce换成SparkSQL。 ③启动SparkSQL必须是client模式，不能是cluster模式； 启动SparkSQL时可以指定启动模式，错误示例如下： bin/spark-sql --deploy-mode cluster --master spark://linux02:7077 --driver-
spark 连接 hive 报错 Identifier principalName is unresolved (not a static field)
weixin_53359823的博客
12-08 680
spark连接hive的mysql元数据库metastore，不能直接访问，需要通过metastore server间接访问因此需要开启元数据服务。
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
予挚之的博客
06-08 3449
这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是 CDH 平台的话，单是 hive 服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文，前面的升级步骤基本一致，但是升级过程只有我遇到了这些问题吗？单拎出来这些报错，度娘多多少少还是可以找到一些类似的解决方案，不过经过博主测试，都不能解决出现的问题，因此才有了此篇博文，当然最后也完美解决了所有问题，不保证后面使用过程中是否会出现问题，因为还没有进一步测试，但是升级和使用，是没有问题的。！
spark采坑之hive2.0版本后面初始化错误
会飞的鱼
06-28 986
报错一： Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the “BONECP” plugin to create a ConnectionPool gave an error : The specified datastore driver (“com.mysql.jdbc.Driver”) w...
hive问题
weixin_45430750的博客
03-30 1918
hive启动报错 问题描述：hive启动程序报错错误 Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "HikariCP" plugin to create a ConnectionPool gave an error : Failed to initialize pool: null, message from server: "Host '192.168.1.111' is blocked be
SparkSQL-DataFrame学习笔记
Richard_More的博客
09-20 1733
（1）导语 昨天在处理寻医问药网的记录时，遇到了处理非关系型的数据库，非关系数据以前都是mongodb来处理的，但它（a）不能分布式。所以处理的数据能力有上限（b）不能很好衔接外源程序，要是对其数据进行处理。必须下载一个第三方的包，来回对读，写其数据。非常不方便。下面我们来看看SparkSQL DataFrame这种数据库的优缺点。 （2）分析材料 网上关于DataFrame介绍的资源也只有
SparkSql 整合 Hive ,Thriftserver启动后自动退出的问题解决办法
最新发布
c1026626434的博客
01-20 532
SparkSql 整合 Hive ,Thriftserver启动后自动退出的问题解决办法
sparksql整合hive,使用idea运行,启动时报:"org.apache.spark.sql.hive.hivesessionstatebuilder
06-28
2. 确认在项目中引入了正确的Spark和Hive依赖，例如： ``` <groupId>org.apache.spark <artifactId>spark-core_2.11 <version>2.4.5 <groupId>org.apache.spark <artifactId>spark-sql_2.11 <version>...
SparkSQL基础知识及与HIVE整合UDF函数编写
weixin_45793819的博客
04-21 1558
什么是SparkSQL 用于处理结构化数据的Spark模块 可以通过DataFrame和DataSet处理数据 SparkSQL特点 1易整合 可以使用java、scala、python、R等语言的API操作 2统一的数据访问 连接到任何数据源的方式相同。 3 兼容hive 4标准的数据连接（JDBC/ODBC） SQL 优缺点 优点：表达清晰 ，难度低，已学习 **缺点：**复杂的业业务需要复杂...
hive-metastore编译问题解决
Ms_WangH
09-05 1473
hive-metastore编译过程中，出现 ERROR (PersistenceCapable) : org.apache.hadoop.hive.metastore.model.MNotific 日志错误： Error thrown enhancing with ASMClassEnhancer (IllegalArgumentException) <!-- 修改前为1.8 --&...
hive任务报错SELECT DISTINCT ‘org.apache.hadoop.hive.metastore.model.MPartition‘
2020xyz的博客
04-30 4958
问题描述： hive执行INSERT OVERWRITE TABLE操作时在最后阶段任务出现报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. MetaException(message:Exception thrown when executing query : SELECT DISTINCT 'org.apache.hadoop.hive.metastore.model.
hive启动出错 org.apache.hadoop.hive.ql.metadata.HiveException
bwddd的博客
02-13 1万+
刚设置好hive的配置文件, 元数据存储使用的是mysql, 然后进行hive进入命令行模式, 使用show databases发现报异常 看报错信息是元数据异常. 那么一定是与mysql的连接,或者元数据的存储出现了问题. 上网百度找了一些答案,说是需要进行元数据格式化, 于是尝试了下, 发现还是报错. # 格式化元数据 schematool -dbType mysql -initS...
出现 org.apache.tomcat.xxx.ClassFormatException: Invalid byte tag in constant pool: 15 异常的原因及解决方法
CG国斌的博客
11-07 1万+
1 错误描述最近，当我从 SVN 检出项目并正常配置完 Tomcat 之后，启动项目，总是报出如下异常：2 错误原因通过观察上述标记出来的异常描述，我们可以知道： org.apache.tomcat.util.bcel.classfile.ClassFormatException: Invalid byte tag in constant pool: 15 此异常，为：类格式异常：常量池中无效的
EurekaServer这几个错误 你可以这样解决
热门推荐
lonsonlee的专栏
11-22 2万+
程序调试遇到了不启动的几个问题pom.xml 更改前EnableDiscoveryClient cannot be resolved to a type错误信息eclipse的Problem窗口显示有错误Run App 报错解决办法ClassNotFoundException: com.google.common.cache.CacheBuilder错误信息Run -as Spring Boot ...
Spark2.3.0集成hive3.1.1遇到的一个坑HikariCP
weixin_44166276的博客
12-19 4478
Spark2.3.0集成hive3.1.1遇到的一个坑HikariCP hive.metastore.schema.verification false 启动spark-sql或者创建相关对象，都会报错，错误如下： at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.datanucle...
剑指Offer编程题（Java实现）——删除链表中重复的结点
weixin_30627341的博客
08-08 129
题目描述 在一个排序的链表中，存在重复的结点，请删除该链表中重复的结点，重复的结点不保留，返回链表头指针。 例如，链表1->2->3->3->4->4->5 处理后为 1->2->5 public class ListNode { int val; ListNode next = null; L...
JDK安装配置
weixin_30416497的博客
07-09 85
1. 下载、安装JDK官方网址：https://www.oracle.com/technetwork/java/javase/downloads/index.html 点击进入下载所需版本的JDK，我用的是：jdk-8u131-windows-x64.exe 安装过程直接下一步即可。建议：安装路径不要有中文或者特殊符号如空格等。 2. 配置环境变量。 右击——计算机——属性——高级系统设置...
sparksql整合hive导入hive-site.xml
07-28
您可以按照以下步骤将 Hive 的配置文件 `hive-site.xml` 导入 SparkSQL 中： 1. 将 `hive-site.xml` 文件复制到 Spark 的配置目录下。默认情况下，Spark 的配置目录是 `$SPARK_HOME/conf`，其中 `$SPARK_HOME` 是 Spark 的安装路径。 2. 在 SparkSQL 中创建一个 `SparkSession` 对象，并在创建之前设置一些相关的配置项。可以参考下面的示例代码： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession .builder() .appName("SparkSQL with Hive integration") .config("spark.sql.warehouse.dir", "/user/hive/warehouse") // 设置 Hive 仓库目录 .config("hive.metastore.uris", "thrift://localhost:9083") // 设置 Hive Metastore 的连接地址 .enableHiveSupport() // 启用 Hive 支持 .getOrCreate() ``` 在上面的示例中，您需要根据您的实际环境修改 `spark.sql.warehouse.dir` 和 `hive.metastore.uris` 的值。`spark.sql.warehouse.dir` 是 Hive 仓库目录的路径，`hive.metastore.uris` 是 Hive Metastore 的连接地址。 3. 使用 `spark.sql` 对象执行 Hive 相关的操作。例如，您可以执行 SQL 查询、创建表等。下面是一个简单的示例： ```scala spark.sql("SELECT * FROM my_table").show() ``` 上述代码将执行一条查询语句，从名为 `my_table` 的 Hive 表中检索数据，并将结果显示在控制台上。 请注意，您还需要确保 Spark 和 Hive 的版本兼容，并且 Hive Metastore 服务正在运行。另外，如果您的 Spark 集群和 Hive Metastore 服务部署在不同的机器上，您需要相应地修改 `hive.metastore.uris` 的值。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值