hive中按条件批量删除分区partition

最新推荐文章于 2025-03-23 09:56:35 发布

Ru_ach

最新推荐文章于 2025-03-23 09:56:35 发布

阅读量1.1w

点赞数 4

本文链接：https://blog.csdn.net/monica111111/article/details/98763856

版权

本文探讨了在Hive与SparkSQL中按条件删除分区的不同行为。指出使用beeline执行Hive原生SQL能够成功按条件删除分区，而SparkSQL或其beeline则因不支持此操作而失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

alter table schema.table_name drop partition (ds<'2018-08-01')

注意：
使用beeline的方式可以执行成功，即hive原生hivesql能按条件删除；

而使用spark-sql，或者spark-beeline等方式执行会报错，应该是sparksql不支持按条件删除。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Ru_ach

关注关注

4
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hive：drop partition与truncate partition用法和区别

zhengzaifeidelushang的博客

01-13

1万+

Hive：drop partition与truncate partition用法和区别一、drop partition与truncate partition用法 drop partition： alter table dw.lens.2090_lens_bianzu_simulation_result drop partition(date=20200419,hour=11) truncate partition: truncate table dw.lens.2090_lens_bianzu_si

hive根据条件删除指定分区数据

zhengzaifeidelushang的博客

04-24

7574

hive删除数据删除指定分片不符合条件的数据只会保留日期为’2020-04-24 11:39:46’的数据 insert overwrite table dw.lens.lens_bianzu_info_status partition(date='20200423' ,hour='21') select site_code,site_id,task_no,task_date,task_shi...

参与评论您还未登录，请先登录后发表或查看评论

Hive根据条件删除指定分区数据

CyberNova的博客

08-19

1821

在大数据处理中，Hive是一个常用的数据仓库和分析工具，它提供了类似于SQL的查询语言，用于在Hadoop集群上执行数据操作。在某些情况下，我们可能需要根据特定条件删除Hive表中的指定分区数据。首先，我们需要了解Hive表的分区概念。Hive表可以按照一个或多个列的值进行分区，这有助于提高查询性能并进行更有效的数据管理。在删除指定分区数据之前，我们需要确定表的分区列和条件。请注意，上述代码仅删除了指定分区中的数据，并不会删除整个分区。使用上述代码，如果在指定日期范围内存在分区，则会删除该分区及其数据。

批量删除hive表分区

fanlying的博客

12-01

1万+

执行shell脚本批量删除hive表分区执行命令： sh delete_partitions.sh schema.table_name 2017-11-01 2017-12-01 delete_partitions.sh脚本如下： #!/bin/sh if [ $# == 3 ]; then begin_date=`date -d "+0 day $2" +%Y-...

Hive批量删除表分区

zengxingyuluo的博客

09-05

1万+

1.只有一个分区，如year alter table t_test_order drop partition (year>'2015',year<'2019') 2.有多个分区，如year、month、day alter table t_test_order drop partition (year='2019',month<='201904') ...

Hive批量删除一段时间分区和动态分区更新数据

lv_hulk的博客

07-05

4822

Hive批量删除一段时间分区和动态分区更新数据 1.hive动态分区 -- 批量删除分区数据 alter table dm.dm_call_gateway_bill_time_detail drop partition(dt >="20191101",dt <='20191130') -- 开启动态分区 SET hive.exec.dynamic.partition=true; --开启动态分区，默认是false SET hive.exec.dynamic.partition.mode=non

大数据实践之路-数据仓库-hive批量删除/增加分区

数据包工头的博客

01-14

843

注意: 增加日期变量 p_date ，为了防止start_date在while循环过程中，发生变化，变为和end_date一样的值。 #! /bin/bash start_date=${1:-`date -d "-32 day" "+%Y-%m-%d"`} end_date=${2:-`date -d "-1 day" "+%Y-%m-%d"`} table_name="vn0c43l.mid_dim_hyper_shop_div_dept_day_v2" # hive 批量删除分区 sql_dp=

Hive批量删除一段时间分区&&动态分区更新数据

流风雨情的博客

12-05

3090

alter table dm.dm_call_gateway_bill_time_detail drop partition(dt >="20191101",dt <='20191130')

Hive 分区实战指南：动态分区 vs 静态分区的深度解析

2401_83088008的博客

03-23

559

分区策略的选择直接影响 Hive 查询性能和运维成本。静态分区适合可预测的少量分区场景，而动态分区在处理海量、变化的分区时更具优势。优先使用动态分区提高灵活性对热点分区进行拆分或合并定期清理无效分区结合分区裁剪和索引优化查询掌握分区技术的精髓，能让 Hive 数据仓库的性能提升 3-10 倍，是大数据工程师必须掌握的核心技能之一。

shell脚本删除hive外部表用户指定多分区数据(删除hdfs上元数据)

hetry_liang的博客

04-02

1147

1、首先我们创建一个多分区的外部表:tmp.clear_external_mulpartitiondata_test2,其中分区字段为year,month,day;并向该表中插入数据。 -- 创建源数据表tmp.cleardata_test2，并手动插入数据 drop table if exists tmp.cleardata_test2; create table if not exists tmp.cleardata_test2( stuid string, stuname string,

hive批量删除多个分区数据

chimchim66的博客

09-03

5762

举个栗子????：批量删除2019-01-01到2020-09-03号范围内的分区 alter table drop partition (ds<‘2020-09-03’,ds>‘2019-01-01’);

hive批量删除分区删除时间范围分区

黄大仙儿的专栏

12-10

2万+

hql： alter table tb_partition drop partition (etl_dt>='20181102',etl_dt<='20181104')

hive 静态分区动态分区批量删除分区

licai_1001的博客

03-22

1853

1，首先在虚拟机的note-01的节点（也就是hive服务器所在的Linux电脑上）上创建一个user_partition.txt文件。 cd /root/hivefile vim user_partition.txt 向user_partition.txt文件添加如下内容 1,tom,usa,newyork 2,james,usa,newyork 3,jon,usa,newyo...

hive如何删除分区

别人笑我太疯癫，我笑他人看不穿。

09-25

4034

在Hive中，删除分区是一个常见的操作。你可以使用ALTER TABLE DROP PARTITION语句来删除一个或多个分区。

hive 删除多个分区

zhuiqiuuuu的博客

05-19

1947

ALTER TABLE table_name drop if exists partition (dt='2020-03-23' , hh_mm_ss>='24:00:00')

Hive 删除分区的方法