Spark.saveAsTable读不到Hive动态增加字段

最新推荐文章于 2022-07-13 10:45:53 发布
最新推荐文章于 2022-07-13 10:45:53 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： 数据库 文章标签： Hive Impala impala refresh Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/believe__dream/article/details/89854191
版权
描述  在程序中使用alter方式动态增加Hive的字段，但是Hive字段增加之后，使用Spark向Hive写数据，此时修改了Hive元数据表中的table属性，使得Hive和Impala两边的元数据不一致，然后新增的数据 就没有办法同步到Impala中。初步解决方案在服务器中通过 hive-site.xml Hive配置，找到元数据的存储地址。<!-- ConnectionUser...
摘要由CSDN通过智能技术生成
描述

  在程序中使用alter方式动态增加Hive的字段，但是Hive字段增加之后，使用Spark向Hive写数据，此时修改了Hive元数据表中的table属性，使得Hive和Impala两边的元数据不一致，然后新增的数据 就没有办法同步到Impala中。

初步解决方案

在服务器中通过 hive-site.xml Hive配置，找到元数据的存储地址。

<!-- ConnectionUserName 是元数据存储的实例的用户名 -->
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
最低0.47元/天 解锁文章
花无名v5
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HIve修改字段或者增加字段后，Spark访问不生效问题
BackToMe的博客
05-28 2542
问题重现（例） 当我将数据存储格式改变，或者增加一列的时候，我习惯使用了alter table add …来实现 原来的表： ALTER TABLE test ADD COLUMNS (weight STRING) CASCADE 加上一列weight字段后（这里使用cascade就是为了同步到hivemetastore），我用spark向表插入一个带有weight字段的表，此时抛出异常 Exception in thread "main" org.apache.spark.sql.AnalysisEx
SparkSQL优化分析--saveAsTable
大怀特的博客
03-04 2805
文章目录问题点:优化点: 环境 spark2.4.8 on yarn(hadoop2.4.5) 优化后 package com.bl.bigdata.cdp.execservice.service.batch.schedule.common import com.bl.bigdata.cdp.execservice._ import com.bl.bigdata.cdp.execservice.utils.business.TableUtils import com.bl.bigdata.cdp.ex
Spark：用saveAsTable保存为hive默认纯文本文件
weixin_33804990的博客
01-03 860
spark中Dataset的的saveAsTable方法可以把数据持久化到hive中，其默认是用parquet格式保存数据文件的，若是想让其保存为其他格式，可以用format方法配置。 如若想保存的数据文件格式为hive默认的纯文本文件： df.write.mode(SaveMode.Append).format("hive").saveAsTabl...
如何解决Sparksession/HiveContext访问不到Hive表中新插入的记录, 或者元数据不一致的问题
Lestat.Z.的博客
04-14 2803
问题描述 在做某个POC项目的测试时候，先pyspark2界面count表A一共有3条，在另一个界面用beeline往这种表插入一条数据，然后继续在beeline中count，此时显示总数为4，插入正常。但是回到pyspark2的界面执行sql语句时候，发现还是3条。 原因 首先看下以下几个知识点： Hive Metastore 当使用enableHiveSupport创建SparkSession...
spark+hive运行时没有写权限
yangbosos的博客
04-22 2052
当使用spark连接hive时，无论是通过spark-submit提交作业，还是使用spark-shell,spark-sql 都会报以下错误： Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS sho...
hive3.x编译spark3.x包
06-07
8. **打包与分发**：将编译好的Hive和Spark二进制包打包并分发到集群的各个节点，以便于其他用户和应用使用。 描述中提到的“hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包”可能是已经完成编译和测试的版本...
spark下安装hive配置文件hive-site.xml
03-24
spark下安装hive标准配置文档。Ubuntu安装hive，并配置mysql作为元数据库时候需要的标准hive-site.xml配置文件，可以根据这个文件联系我的博文内容就行修改，避免入坑。实现快捷启动hive。
hive-jdbc-1.2.1.spark2.jar
04-01
hive-jdbc-1.2.1.spark2.jar
Spark不能使用hive自定义函数.doc
最新发布
03-06
Spark不能使用hive自定义函数
Spark - saveAsTable + rename = 坑
写虫师的博客
05-19 1191
目录 一、背景 二、环境及测试场景 ①、环境 ②、测试场景 三、复现历程 ①、场景探索 ②、测试用例（写数据） 1. rename表（hive引擎） 2. 观察rename后表结构 3. 记录下rename后的目录状态 4. jar包 insertInto写入第二批数据 ③、测试用例（读数据） 1. hive引擎读新路径(location)的旧数据 2. spark引擎读旧路径(path)的新数据 四、隐患 ①、隐患：数据写入和查询混乱 ②、隐患：数据管理和治理困难 五、修正方案............
Sentry ： Spark-sql 读取hive数据 权限问题
jast
08-12 3081
经测试Spark-sql 只支持Sentry表、库权限，不支持Sentry 对Hive列权限读的控制，设置列权限读，Spark-sql是无权限读取的 对hive表某一列有读权限设置 代码如下，jast_column用户有对hive表test的s2列读权限，这里使用spark1.6举例 val conf = new SparkConf().setAppName("test") va...
关于spark on hive 执行建表语句出现的用户权限问题 `Permission denied: user=PC, access=WRITE, inode=“/“:root:supergroup
qq_42392337的博客
08-03 733
关于spark on hive 执行建表语句出现的用户权限问题 Permission denied: user=PC, access=WRITE, inode="/":root:supergroup:drwxr-xr-x解决方法 在代码开头设置参数:System.setProperty("HADOOP_USER_NAME","root")即可 以root角色访问hdfs目录 System.setProperty("HADOOP_USER_NAME","root") val spark: Spar
spark：sparksql：通用的数据 加载/保存功能
不花的花和尚的博客
08-01 321
Spark SQL 的数据源------通用的数据 加载/保存功能 Spark SQL支持通过DataFrame接口在各种数据源上进行操作。DataFrame可以使用关系变换进行操作，也可以用来创建临时视图。将DataFrame 注册为临时视图允许您对其数据运行SQL查询。本节介绍使用Spark Data Sources加载和保存数据的一般方法，然后介绍可用于内置数据源的特定选项。 1， 常用的加载和保存功能。 最简单的形式，默认的数据源（parquet除非...
Spark DataFrame中insertInto()与saveAsTable()区别及动态分区插入hive表使用设置
热门推荐
GSpinach的博客
04-28 1万+
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言insertInto()saveAsTable()动态分区参数设置动态分区代码实现 前言 在spark应用开发中，会经常需要将数据清洗后的结果，插入HIVE表中。而针对数据落表，官方提供了几种插入方式，具体有insertInto，saveAsTable，调用spark sql。下面我们一一讲解他们的区别。 insertInto() 保存DataFra
spark saveAsTable 太慢
Talk Is Cheap
01-17 1360
前面有个join， 可能是join的两边重复的key太多了。
Hive新增/变更字段后，Hive metastore与Hive tblproperties缓存的spark schema不一致处理
mypowerhere的专栏
07-13 1377
Hive新增/变更字段后，Hive metastore与Hive tblproperties缓存的spark schema不一致处理
hadoop,hbase,hive,spark遇到无权限问题Permission denied: user=root, access=WRITE解决
陈小哥cw
12-10 1691
在hadoop,hbase,hive执行某些命令时,可能遇到以下问题 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 这是因为root用户没有相应权限导致的 解决方法有以下几种 1.第一种解决方案 在hdfs上/user目录下创建root目录,需要在HDFS上有一个用户主目录...
0510-Spark应用访问Hive报错异常分析
Hadoop_SC的博客
12-24 725
1 故障描述 运行环境说明 1.RedHat7.2 2.CM和CDH版本为5.15.0 3.Spark1.6 问题现象 在代码中使用HiveContext对象访问Hive表ods_user（该表为Parquet格式）时发现作业报错，异常如下： Exception in thread "main" org.spark-project.guava.util.concurrent.Uncheck...
报错org.apache.spark.sql.hive.HiveSessionStateBuilder'的原因
06-03
报错"org.apache.spark.sql.hive.HiveSessionStateBuilder"通常是由于缺少Hive相关的jar包或者配置不正确造成的。解决方法如下： 1. 确认项目中是否添加了Hive的相关依赖，可以在pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.4.5</version> </dependency> ``` 2. 确认Spark的配置中是否正确设置了Hive相关的参数，可以在SparkConf中添加以下参数： ```java SparkConf conf = new SparkConf() .setAppName("example") .setMaster("local") .set("spark.sql.warehouse.dir", "/user/hive/warehouse") .set("hive.metastore.uris", "thrift://localhost:9083"); ``` 其中，`spark.sql.warehouse.dir`是指定Hive元数据的存储路径，`hive.metastore.uris`是指定Hive元数据服务的地址。 3. 如果以上两种方法都无法解决问题，可以尝试重新编译Spark，确保编译选项中包含了Hive相关的选项。 希望以上方法能够解决你的问题！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值