使用sparksql insert overwrite插入hive分区导致所有分区被删

最新推荐文章于 2024-04-11 08:54:52 发布
最新推荐文章于 2024-04-11 08:54:52 发布
阅读量3.7k 收藏 12
点赞数 1
分类专栏： hive spark 文章标签： spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40981792/article/details/118698615
版权

使用sparksql insert overwrite插入hive分区导致所有分区被删


简单记录一下，防止踩坑。
hive.exec.dynamic.partition=true
hive.exec.dynamic.partition.mode=nonstrict
开启这两个参数，进行动态插入分区表：
insert overwrite table tablename partition(part_col)
1.这种方式在2.3之前，只会修改查询结果的分区，没什么问题。
2.但是如果在2.3之后，spark会增加一个 spark.sql.sources.partitionOverwriteMode参数，这个参数有两个值，默认 static，可修改为 dynamic。问题就出在这里，如果不更改这个参数，使用默认的static，在动态插入时，不管插入的分区是否存在，都会导致所有的分区被覆盖，数据无法找回。
3.可以在hive中使用show create table查看 spark.sql.create.version来确认表的版本。

UAreNotMe
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python脚本中hivesql字段注释格式化
09-12
# 此脚本查找以“--”开头的注释 # ----------------------------------------------示例----------------------------------------- # -- 查找姓名为张三的学生信息 # insert overwrite table student_search # select # id, -- id编号 # name, -- 姓名 # age, -- 年龄 # address -- 住址 # from student -- 学生表 # where 1=1 # and name = '张三' -- 姓名为张三 # ---------------------------------------------优化结果------------------------------------- # -- 查找姓名为张三的学生信息 # insert overwrite table student_search # select # id, -- id编号 # name, -- 姓名 # age, -- 年龄 # address -- 住址 # from student -- 学生表 # where 1=1 # and name = '张三' -- 姓名为张三 # ------------------------------------------------------------------------------------------
Hive那些事儿之八-大数据踩过的坑——Hive insert
01-07
Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 from db_name.table_name_2 where id = condatition ), temp_table_2 as ( select id,col_3 from db_name.table_name_3 where id = con
[Spark SQL]Spark SQL读取Kudu，写入Hive
最新发布
NBA首席形象大使坤坤
04-11 1555
SparkUnit Function：用于获取Spark Session package com.example.unitl import org.apache.spark.sql.SparkSession object SparkUnit { def getLocal(appName: String): SparkSession = { SparkSession.builder().appName(appName).master("local[*]").getOrCreate() }
Hive DML
01-07
数据导入 Hive不支持update的操作。数据一旦导入，则不可修改。要么drop掉整个表，要么建立新的表，导入新的数据。 load：加载数据到表 load data [local] inpath ‘filepath’ overwrite | into table 表名 [partition (partcol1=val1,…)]; 单纯的复制/移动：将 filepath 中指定的文件复制到目标文件所指定的目录中。如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。其中： load data：表示加载数据 local：表示从本地加载数
HIVE 自建落地表
01-07
自建落地表为什么要自建落地表HIVE SQL创建内/外部表、分区表insert overwrite 向分区表插入数据 为什么要自建落地表 1、公司的大数据资源非常紧张， 2、导数逻辑很复杂； 3、日常导数要求时效性高； 4、部门数仓的表太多字段； 综上四点，还有其他的原因；都需要我们自己落建地表，方便自己查询，以及加快BI报表直接用复杂的SQL语句跑数时间。 HIVE SQL创建内/外部表、分区表 1、创建内部表： CREATE TABLE `test`( `order_id` decimal(22,0) COMMENT '源表自增id', `kh_code` string COMME
MaxCompute SQL中insert语句使用详情
12-14
MaxCompute insert语句使用 本文介绍使用INSERT OVERWRITE和INSERT INTO两种命令更新表数据，主要内容包括： insert into table … values …语句 insert into/overwrite … select …语句 Insert多路输出（MULTI INSERT） 输出到动态分区（DYNAMIC PARTITION） INSERT VALUES语句 命令使用 INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2,...)][(co1name
sparksql写入对象存储，路径消失的问题
weixin_38148824的博客
01-03 486
sparksql写入对象存储，路径消失的问题。 解决该问题，需要不使用s3a协议去执行insert overwrite table
insert overwrite table不会覆盖原文件，而是新增一个文件
chimchim66的博客
11-09 1740
insert overwrite 多个文件问题
spark-sql: insert overwrite分区表问题
L13763338360的博客
11-02 3721
spark-sql: insert overwrite分区表问题
spark删除路径或目录
盛源的博客
06-04 1168
/** * 删除目录 */ def deletePath(spark: SparkSession, path: String): Unit = { // 1 获取文件系统 val file_path = new org.apache.hadoop.fs.Path( path ) val file_system = file_path.getFileSystem( spark.sparkContext.hadoopConfiguration ) // 2 判断路径存在时, 则删除 .
Hive分区表的使用
wysghmbb的博客
07-02 1126
一、静态分区 1、创建一张分区表 create table test_part_table(word string,num bigint )partitioned by(dt string)row format delimited fields terminated by ‘\t’; 可以看出，表中除了word string,num bigint两个字段外，还多了个dt字段。 2、插入数据 依次执行以下两条语句 insert overwrite table test_part_table part
hive on spark hql 插入数据报错 Failed to create Spark client for Spark session Error code 30041
想练武，就得下功夫
07-29 6272
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 50cec71c-2636-4d99-8de2-a580ae3f1c58)' FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.
Hive分区表的分区操作
热门推荐
IT影风的博客
05-09 5万+
为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。一个分区实际上就是表下的一个目录，一个表可以在多个维度上进行分区，分区之间的关系就是目录树的关系。1、创建分区表通过PARTITIONED BY子句指定，分区的顺序决定了谁是父目录，谁是子目录。创建有一个分区的分区表：CREATE TABLE IF NOT EXISTS part_test(           c1     ...
hive on spark 线上问题排查案例分享
数据一哥，公众号：数据社
11-08 5781
来源：明哥的IT笔记 编辑：数据社全文共2320个字，建议阅读10分钟大家好，今天看到明哥分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法，希望对大家有所帮助。01 问题现象某业务系统中，HIVE SQL 以 hive on spark 模式运行在 yarn上指定的资源队列下，在业务高峰期发现部分 SQL 会报错，但重试有时又能够成功...
hivecontext mysql_Spark on Yarn with Hive实战案例与常见问题解决
weixin_35843569的博客
02-15 221
[TOC]1 场景在实际过程中，遇到这样的场景：日志数据打到HDFS中，运维人员将HDFS的数据做ETL之后加载到hive中，之后需要使用Spark来对日志做分析处理，Spark的部署方式是Spark on Yarn的方式。从场景来看，需要在我们的Spark程序中通过HiveContext来加载hive中的数据。如果希望自己做测试，环境的配置可以参考我之前的文章，主要有下面的需要配置：1.Hado...
insert overwrite之前先删除分区
攻城狮Kevin
02-18 1858
采用spark引擎跑sql，insert overwrite select方式覆盖写数据表时，spark某些版本覆盖写不会重置表的schema； 所以建议如果数据表中间有插入新字段，schema改变的话，覆盖写数据之前先删除分区 ALTER TABLE udw_ns.default.XXX DROP IF EXISTS PARTITION (event_day='{YESTERDAY}'); insert overwrite XXX select ... ...
【HIVE SQL】HIVE分区表和非分区的建立、删除、覆盖写入等操作
sunflower_sara的机器学习园地
05-21 8759
一、非分区表 1. 建表和数据写入 -- 表的建立 无备注 create table table db_name.table_name2as select * fromtable db_name.table_name1 --整张表的覆盖写入 非分区表 INSERT OVERWRITE TABLE db_name.table_name1 select * from db_name.table_name2 （会保留表的字段备注） 2.表的删除和数据清空 -- 删除整张...
sparksql（一） insertinto 源码解析
Interest1_wyt的博客
09-03 3729
sparksql insertinto 源码解析
hive overwrite into不会删除旧文件的一种情况
u012996750的博客
07-03 3422
hive overwrite into不会删除旧文件的一种情况近期工作中发现一个hive overwrite into table的一个bug，如下 近期工作中发现一个hive overwrite into table的一个bug，如下 1、创建两张表，指定同一目录 1.1 创建表aaa： use tmp; drop table tmp.aaa; CREATE EXTERNAL TABLE tmp.aaa( id string comment ‘id’ ) comment
hive 动态分区使用insert overwrite 会自动创建分区吗
06-08
使用 `INSERT OVERWRITE` 命令时，如果插入到的分区已经存在，则会覆盖原有的分区数据。如果插入到的分区不存在，则会根据插入的数据自动创建分区。因此，在使用 `INSERT OVERWRITE` 命令时，是可以实现动态创建分区的。 需要注意的是，如果使用 `INSERT INTO` 命令，则需要手动指定插入数据的分区，否则数据会被插入到默认分区中，而不是动态创建的分区中。因此，在使用动态分区时，建议使用 `INSERT OVERWRITE` 命令，以避免出现数据写入错误的情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UAreNotMe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值