Spark读取hive表元数据异常

已于 2024-09-09 20:55:10 修改
阅读量835 收藏 8
点赞数 28
分类专栏： # 数据处理 文章标签： spark hive 大数据
于 2024-08-06 10:36:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuijing55hi/article/details/140949172
版权

目录

业务背景

涉及过程

操作步骤：

尝试MSCK REPAIR TABLE

尝试REFRESH TABLE

REFRESH TABLE和MSCK REPAIR TABLE区别

验证

报错日志

结论与建议

建议

业务背景

在 ETL 过程中，向表中新增字段时，由于表的特殊性质，存在实时接入和更新三个月历史数据的情况，导致小文件过多。使用 Hive 增加字段时，Spark 的 schema 没有立即生效，这会造成 Hive 表的元数据与 Spark SQL 的 schema 不一致。需要通过 REFRESH TABLE 命令刷新表，同时要求没有其他任务同时操作该表（包括插入和读取），以确保数据一致性。

当使用 Spark Streaming 更新 Hive 表时，可能会出现以下问题：

  • 警告信息：WARN HiveExternalCatalog:The table schema given by Hive metastore...，表明 Spark 无法使用 Hive 存储的元数据，需要从所有分区表中读取元数据信息。
  • Spark 任务卡在 Listing leaf files 阶段，尽管只对部分分区进行了更新，但 Listing 过程却扫描了所有分区（如 500 个分区）。

涉及过程

操作步骤：

  • 修改 MySQL 配置：在 ETL 字段中进行更改，同时通过 Hive 命令增加字段。
alter table table  add columns (***) cascade;
  • 执行刷新操作：使用 Spark Shell 执行 REFRESH TABLE 命令，相比直接使用 Spark SQL，Spark Shell 执行速度更快。示例命令：
--history |grep spark-shell24
​
spark-shell24  --conf spark.dynamicAllocation.maxExecutors=100 --conf spark.dynamicAllocation.minExecutors=10 --executor-memory 25g --executor-cores 5 --conf spark.sql.shuffle.partitions=2000 --driver-memory 16g --queue root.yarn_etl.etl  --conf spark.driver.maxResultSize=5g
​
spark.sql("REFRESH TABLE   table")

尝试MSCK REPAIR TABLE

尝试使用MSCK REPAIR TABLE修复表，执行成功，同时对结果未有影响

尝试REFRESH TABLE

尝试其他命令：

  • MSCK REPAIR TABLE：修复表结构，无明显效果。
  • 手动修改 Hive 元数据：考虑修改 Hive 元数据中的 Spark schema 缓存属性，但因风险较大，未进行操作。
  • 生成新表：如果无法解决，考虑生成新表并同步历史数据，但会影响后续的 ETL 任务。

其语法如下:

:Set Table Properties:添加或修改TBLPROPERTIES
ALTER TABLE table identifier SET TBLPROPERTIES(key1=val1，key2 =val2，...)
--Unset Table Properties:删除TBLPROPERTIES
ALTER TABLE table identifier UNSET TBLPROPERTIES [ IF EXISTS ]( key1, key2, ...

REFRESH TABLE和MSCK REPAIR TABLE区别

在Spark中，REFRESH TABLE和MSCK REPAIR TABLE都与元数据管理和表分区有关，但它们有不同的作用和用法。

  1. REFRESH TABLE：

    • REFRESH TABLE命令用于刷新表的元数据。当表的元数据发生变化（比如添加、删除、修改分区），但这些变化没有被及时反映到Spark的元数据缓存中时，你可以使用REFRESH TABLE命令来强制Spark重新加载这些元数据，以确保Spark中的元数据与数据存储中的实际情况保持一致。

    • 这个命令通常用于当你手动添加或删除了表的分区时，为了让Spark能够识别到这些变化，你需要执行REFRESH TABLE。

  2. MSCK REPAIR TABLE：

    • MSCK REPAIR TABLE命令用于修复表的分区，特别是针对外部表（external tables）。

    • 当你有一个外部表，数据被添加到了表的分区目录中，但是表的元数据没有被相应地更新，这时你可以运行MSCK REPAIR TABLE命令来检测分区目录中的数据，并更新表的元数据，以便Spark能够识别到这些分区。

    • 这个命令通常用于处理外部表的分区，因为外部表的分区通常不是由Spark管理的，而是由外部数据源（如Hive、HDFS）管理的。因此，使用MSCK REPAIR TABLE可以确保Spark中的元数据与外部数据源中的实际情况保持一致。

总的来说，REFRESH TABLE用于刷新表的元数据，而MSCK REPAIR TABLE用于修复外部表的分区。在使用时需要根据具体的情况选择合适的命令。

验证

--查询desc formatted 表名 partition(day=20240301);看要加的字段加上去没有
desc formatted sdk_public.mobpush_event_detail  partition(day=20240301);
--查询表字段
desc 表名

问题点：通过上面的命令不管是表还是分区，字段都是加上的，同时后面执行还是会走的Listing leaf files这一步

报错日志

24/03/05 20:20:33 WARN org.apache.spark.internal.Logging: The table schema given by Hive metastore(struct<workid:string,rid:string,duid:string,sdkver:string,appkey:string,push_channel:string,plat:int,time:bigint,type:int,sub_type:int,factorycode:string,factorydesc:string,create_time:bigint,serdatetime:bigint,rdid:string,oiid:string,pkg:string,repeat:boolean,category:string,day:string>) is different from the schema when this table was created by Spark SQL(struct<workid:string,rid:string,duid:string,sdkver:string,appkey:string,push_channel:string,plat:int,time:bigint,type:int,sub_type:int,factorycode:string,factorydesc:string,create_time:bigint,serdatetime:bigint,rdid:string,oiid:string,pkg:string,repeat:boolean,day:string>). We have to fall back to the table schema from Hive metastore which is not case preserving.
如果在执行 REFRESH 命令的同时有其他进程正在写入文件，那么 REFRESH 命令的行为可能会受到这些写入操作的影响。具体行为取决于多个因素，包括你使用的具体系统、 REFRESH 命令的实现细节以及写入操作的性质。
1.Hive的 REFRESH 命令:
在Hive中， REFRESH 命令用于使Hive元数据与HDFS或其他存储系统同步。如果REFRESH 命令执行时，有新的文件被添加到HDFS中，那么这些新文件可能不会立即出现在Hive的元数据中，除非 REFRESH 命令能够检测到这些更改。然而，如果文件在 REFRESH 命令执行过程中被修改或删除那么这些更改可能会影响 REFRESH 命令的结果。
2.并发写入:
并发写入可能会影响 REFRESH 命令的行为。如果写入操作是在Hive表的数据目录中进行的，并且这些更改在 REFRESH 命令执行时还没有完成，那么这些更改可能不会立即反映在Hive的元数据中。
3.事务性:
如果你的系统支持事务性操作，那么 REFRESH 命令可能会等待所有并发写入操作完成后再进行元数据更新，以确保数据的一致性。
4.文件系统的特性:
底层文件系统的特性也会影响 REFRESH 命令的行为。例如，某些文件系统可能支持即时检测到新添加的文件，而其他文件系统可能需要一段时间才能检测到这些更改。
总之，如果在执行 REFRESH 命令的同时有其他进程正在写入文件，那么 REFRESH 命令的行为可能会受到影响。为了确保数据的一致性，最好在执行 REFRESH 命令之前暂停写入操作，或者在 REFRESH 命令执行后验证数据的完整性。此外，根据你所使用的系统和框架，查阅相关文档以了解 REFRESH 命令的具体行为和限制也是一个好主唐

结论与建议

结论：

  1. 元数据不一致问题：在你的ETL过程中，由于Spark和Hive的元数据未能同步，导致了表的元数据信息和schema不一致的问题。这可能是由于Hive在添加字段后，Spark没有立即刷新其缓存的元数据所致。

  2. Spark Streaming与Hive集成问题：在使用Spark Streaming更新Hive表时，由于Spark无法使用Hive存储的元数据，导致了任务失败。这可能是因为Spark Streaming在处理Hive表时，没有正确地获取到最新的元数据。

建议

  1. 暂停写入操作：在执行 REFRESH TABLE 前，暂停对表的写入操作，确保数据的一致性。
  2. 验证刷新效果：在执行 REFRESH TABLE 后，验证表结构和字段是否正确更新。
  3. 小文件合并：定期进行小文件合并，减少小文件的数量，以提高操作效率。
  4. 监控并发写入：避免在进行元数据刷新时有其他进程同时操作该表，特别是大规模数据处理任务。
  5. 考虑表结构优化：如果频繁遇到此类问题，考虑优化表的结构和分区策略，减少对元数据的频繁更新。

坤岭
关注
专栏目录
Spark读取Hive的方式以及出现的雷坑
Alex的博客
04-27 3537
spark读取Hive的三种方式 1.HiveJDBC 2.通过服务的方式 直接读数据源 因为hive只是起到映射的作用，所以最简单、直观的方式就是直接读取数据的存储组件(HDFS\HBASE) 1.HiveJDBC 方式一： val spark = pec.get[SparkSession]() val dbtable = "( " + sql + ") AS Temp" val jdbcDF = spark.read.format("jdbc") .option("url", jdbc
spark 读取hive java_Spark2.0入门：连接Hive读写数据（DataFrame）
weixin_35397676的博客
02-26 971
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！[返回Spark教程首页]Hive是基于Hadoop的数据仓库(要想了解更多数据仓库Hive的知识以及如何安装Hive，可以参考厦门大学数据库实验室的Hive授课视频、Hive安装指南)。本节内容介绍Spark如何连接Hive并读写数据。一、让Spark包含Hive支持为了让Spark能够访问Hive，必须为Spark添加Hi...
spark on hive (spark 使用hive元数据)
zhangxiaohui4445的博客
07-08 1606
以Python为例子： spark = SparkSession.builder.config("hive.metastore.uris","thrift://10.1.1.18:9083").appName("tSalesItem").enableHiveSupport().getOrCreate() spark.sql("show databases").show() 异常处理： #查...
Spark连接Hive读取数据
m0_56210953的博客
08-12 5134
从Hadoop环境搭建到Spark连接Hive的小白入门教程，一套流程走下来在多次的尝试中既可以熟悉linux命令行的应用，同时初步熟悉大数据技术。
Spark SQL来读取现有Hive中的数据
春华秋实
05-25 9673
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如Parquet、Hive、Json等）。 Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。 本文就是来介绍如何通过Spark SQ
spark读取hive数据的两种方式
qq_42213403的博客
06-04 1万+
spark读取hive数据常用的有两种方式 一是通过访问hive metastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的HDFS路径，这种方式的特点是效率高、数据量大、使用spark操作起来更加友好。 二是通过spark jdbc的方式访问，就是通过链接hiveserver2的方式获取数据,这种方式底层大题上跟spark链接其他rdbms上一样，可以采用sql的方式先在其数据库中查询出来结果再获取其结果数据，这样大部分数据计算的压力就放在了数.
spark读取hive表数据实操
热门推荐
dove's blog
07-12 2万+
环境:spark1.6 hive1.2.1 hadoop2.6.4 1.添加一下依赖包 spark-hive_2.10的添加为了能创建hivecontext对象 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.10</artifactId> <ve
spark读取hive表异常
盛源的博客
10-10 2748
1 原因 为了性能spark对元数据做了缓存，如果外部系统更新了元数据，spark使用时要更新缓存过的该表元数据. /** * Invalidates and refreshes all the cached data and metadata of the given table. For performance * reasons, Spark SQL or the external data source library it uses might cache certain metadata
Spark SQL数据源 - Hive表
IT深耕十余载，大道之简
06-01 998
Spark SQL对Hive的支持非常强大，可以直接读取和写入Hive表中的数据。Hive是一个基于Hadoop的数据仓库，它提供了SQL接口来查询和管理存储在HDFS或其他Hadoop兼容存储系统中的数据。
Spark sql 从hive中读取数据
The_Boy_le的博客
10-25 981
【代码】Spark sql 从hive中读取数据。
使用Spark读取Hive数据，数据存储
搬砖の隔壁老王
09-23 1712
使用spark操作hive库的数据，在日常业务中随处可见，记录一下…… 话不多说 1、无论使用idea或者eclipse，创建工程后，spark、hive 的相关pom . <properties> <spark.core.version>2.4.0</spark.core.version> <scala.version>2.11</scala.version> <build_scope>compile&
【大数据测试spark+kafka-详细教程（附带实例）】
Dreams°的博客
11-09 676
大数据（Big Data）指的是无法用传统数据库技术和工具进行处理和分析的超大规模数据集合。在大数据技术中，实时数据流的处理尤为重要，尤其是如何高效地对海量的实时数据进行采集、存储、处理与分析。在这方面，和是两个关键技术。Kafka 作为分布式流处理平台，可以高效地进行实时数据流的生产和消费，而 Spark 提供了强大的分布式计算能力，尤其是其扩展的流式计算模块，非常适合处理实时数据流。Kafka 是一个分布式的消息队列系统，能够实现高吞吐量、可扩展性、容错性。Producer（生产者）
Python学习从0到1 day27 第三阶段 Spark ② 数据计算Ⅰ
最新发布
m0_73983707的博客
11-09 332
将所有单词都转换成二元元组，单词为key，value设置为1，value表示每个单词出现的次数，作为value，初始化为1，若单词相等，则表示key相同，value值进行累加。比如，有[1，2，3，4，5]，然后聚合函数是：lambda a，b：a + b。处理（处理的逻辑：基于map算子中接收的处理函数)，返回新的RDD。map算子可以通过lambda匿名函数进行链式调用，处理复杂的功能。来进行的，采用依赖进行，RDD对象内置丰富的。读取文件，统计文件内，单词的出现数量。map算子，是将RDD的数据。
计算机毕业设计django+大模型租房推荐系统 租房可视化 租房大屏可视化 租房爬虫 spark 58同城租房爬虫 房源推荐系统
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
10-31 1541
计算机毕业设计django+大模型租房推荐系统 租房可视化 租房大屏可视化 租房爬虫 spark 58同城租房爬虫 房源推荐系统
kettle开发-Day43-数据对比
qq_29061315的博客
11-09 376
跨库数据对比的经典解决方案~
Spark中的常见算子
m0_56341622的博客
11-01 1655
Spark中的常见算子---触发算子、转换算子。哪些算子能触发shuffle过程
Spark 中 RDD 的诞生：原理、操作与分区规则
天冬忘忧的博客
11-07 1066
本文将深入探讨 RDD 的相关知识，包括它的诞生背景、设计与定义、在 WordCount 中的应用、五大特性、创建方式以及分区的设定规则等内容，希望能帮助读者更好地掌握 Spark 中 RDD 的使用。
Spark中的shuffle过程详细
KasarJ的博客
11-06 540
全局分组：reduceByKey，groupByKey全局排序：sortBy，sortByKey增大分区:repartition,coalesecoalesce(根据情况) join / fullOuterJoin / leftOuterJoin / rightOuterJoin。
spark （算子 ） groupBykey+Map 和 reduceBykey 的区别
GDDGHS_的博客
11-06 401
executor --> spark的app应用在运行时，会产生两个进程，一个Driver，一类executor(执行spark中的job任务的)- groupByKey没有Map端聚合的操作，只做分组，必须等分区结束才能实现，最终map需要做整体聚合。- reduceByKey直接分组聚合的性能要高于先做groupByKey再做聚合的方式。- reduceByKey是有Map端聚合操作，先分区内部聚合，再做分区间的聚合。Combiner --> 运行在map端的Reduce。
spark读取hive表数据是怎么实现的
05-05
Spark可以通过HiveContext类来读取Hive表数据。HiveContext是Spark SQL的一个子类，可以将Spark与Hive进行集成。 具体来说，可以参考以下步骤： 1. 首先要在Spark的classpath中包含Hive的JDBC驱动，可以通过在Spark的启动脚本中添加类似以下命令来实现： ``` export SPARK_CLASSPATH=$SPARK_CLASSPATH:/path/to/hive-jdbc.jar ``` 2. 在Spark应用程序中创建HiveContext对象： ``` val conf = new SparkConf().setAppName("MyApp") val sc = new SparkContext(conf) val hiveContext = new HiveContext(sc) ``` 3. 使用HiveContext对象可以读取Hive表数据，例如： ``` val df = hiveContext.sql("SELECT * FROM my_table") ``` 这样就可以将Hive表中的数据读入到Spark中的DataFrame中了。需要注意的是，Hive表的元数据信息会被缓存到Hive Metastore中，因此在读取Hive表数据时会涉及到网络传输和元数据查询等操作，可能会比直接读取Spark中的数据略慢。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值