HIVE删除__HIVE_DEFAULT_PARTITION__

最新推荐文章于 2024-09-25 11:18:24 发布
最新推荐文章于 2024-09-25 11:18:24 发布
阅读量3.8k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stSahana/article/details/115384959

因为脏数据的写入导致hive产生了__HIVE_DEFAULT_PARTITION__的分区
通过alter table tmp.test drop partition(eventdate>20210329) 来删除会报错

hive 版本:1.1.0
CDH:5.13.0

数据库找到对应分区

登录hive的元数据库

select * from PARTITIONS where PART_NAME like '%__HIVE_DEFAULT_PARTITION__%';
PART_ID CREATE_TIME LAST_ACCESS_TIME PART_NAME SD_ID TBL_ID LINK_TARGET_ID
74274 1579511431 0 eventdate=HIVE_DEFAULT_PARTITION 108968 15746
最低0.47元/天 解锁文章

200万优质内容无限畅学
二百四十二、Hive——Hive的动态分区表出现day=__HIVE_DEFAULT_PARTITION__分区
tiantang2renjian的博客
06-28 780
Hive的动态分区表出现day=__HIVE_DEFAULT_PARTITION__分区
hive删除空分区
硅谷工具人
10-21 1320
当hive中分区字段有NULL值时，hive会使用dynamic partition，数据会放到一个特殊的分区，这个分区由参数“hive.exec.default.partition.name”控制，默认为“__HIVE_DEFAULT_PARTITION__”，即上面这种情况。 如果不想保留，则使用下面命令删除该分区，同时手工删除hdfs上该分区文件。 下面用于删除null分区。 ALTER...
为什么hive会出现_HIVE_DEFAULT_PARTITION分区
weixin_43806056的博客
08-14 1146
因为在业务sql中使用的是动态分区，并且hive启用动态分区时，对于指定的分区键如果存在空值时，会对空值部分创建一个默认分区用于存储该部分数据，默认该分区名为_HIVE_DEFAULT_PARTITION。为什么hive表中出现_HIVE_DEFAULT_PARTITION分区？
__HIVE_DEFAULT_PARTITION__报错
Black eyes的博客
04-01 8000
show partitions 'table'，有时会出现下面情况： 是因为hive中分区字段有NULL值，当hive中分区字段有NULL值时，hive会使用dynamic partition，数据会放到一个特殊的分区，这个分区由参数“hive.exec.default.partition.name”控制，默认为“__HIVE_DEFAULT_PARTITION__”，即上面这种情况。解决办...
hive中partition如何使用
p_x1984的专栏
08-23 1157
网上有篇关于hive的partition的使用讲解的比较好，转载了： 一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是在创建表时指定的partition的分区空间。 3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitio...
HIVE表中分区的删除
热门推荐
大数据挖掘SparkExpert的博客
03-31 6万+
HIVE本身是不太支持更新的，要从其中删除某一行其实也是费劲的。 不过HIVE本身还提供一种机制，可以删除其中的分区。只要某一条记录在某个分区中，就可以实现用个“转弯”的方式来实现，即先删除分区，再手动去掉这条记录，再导入到分区中。 如首先查到某个表中有记录7904个，  用这个命令：ALTER TABLE shphonefeature DROP IF EXISTS
动态分区导致__HIVE_DEFAULT_PARTITION__
01-20
当启用动态分区时，如果指定的分区键存在空值，Hive会自动创建一个名为__HIVE_DEFAULT_PARTITION__的默认分区来存储这部分数据。 这个默认分区的目的是为了处理空值情况，以保证数据的完整性和一致性。当动态分区的...
cloudera hive mysql_使用Cloudera Manager搭建Hive服务
weixin_39949673的博客
02-11 479
使用Cloudera Manager搭建Hive服务作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.安装Hive环境1>.进入CM服务安装向导2>.选择需要安装的hive服务3>.选择hive的依赖环境，我们选择第一个即可(hive不仅仅可以使用mr计算，还可以使用tez计算哟~)4>.为Hive分配角色Hive Metastore是管理和存储元信息的服务...
hive分区hive_DEFAUL_T_PARTITION
02-03
在Hive中，默认分区（DEFAULT PARTITION）是指在创建表时没有指定分区列的情况下，Hive会自动创建一个默认分区。默认分区可以理解为没有明确指定分区的数据都会被放到默认分区中。 默认分区的好处是可以方便地处理...
hive如何删除分区
最新发布
别人笑我太疯癫，我笑他人看不穿。
09-25 4896
在Hive中，删除分区是一个常见的操作。你可以使用ALTER TABLE DROP PARTITION语句来删除一个或多个分区。
Hive -分区表
Deng0_huakai
11-21 270
1.创建一个分区表 hive (default)> create table order_partition(orderNumber string,event_time string)PARTITIONED BY(event_month string) row format delimited fields terminated by '\t'; 2.把TXT文本上传至分区表中 hive ...
Hive 默认分区
baiba7240的博客
09-28 810
在hive里面表可以创建成分区表，但是当分区字段的值是'' 或者 null时 hive会自动将分区命名为默认分区名称。 默认情况下，默认分区的名称为__HIVE_DEFAULT_PARTITION__ 当然默认分区名称是可配置的。 配置参数是 hive.exec.default.partition.name 转载于:https://www.cnblogs.com/be...
hive 分区操作
cyh
10-17 373
创建分区表，按入学年份进行分区用性别作为分区的条件CREATE EXTERNAL TABLE student ( sid int, name String ) PARTITIONED BY (year string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';添加分区让2016和2017这两个信息作为分区alter table student a
hive删除字母组成的分区
huobumingbai1234的博客
12-09 167
删除所有分区，但是不删除表结构： alter table bigdata2c.dim_trd_supplier drop if exists partition(business rlike '^[\u4e00-\u9fa5_a-zA-Z0-9]+$');
hive partition 动态分区时字符乱码，无法删除
每天一点点
12-13 8430
hive动态分区插入数据时，由于乱码导致动态分区为乱码，无法删除，如图 解决方法 1.删除hdfs下分区  desc extended TABLENAME; 找到hdfs下表的位置，删除不需要的分区 hadoop dfs -rm 路径 2.删除mysql下的元数据信息 登陆到存放元数据信息的mysql  SELECT * FROM TBLS WHERE TBL_NAME
hive删除partition遇到的编码、转义问题
chushang0934的博客
09-14 413
问题： 线上出现垃圾数据，由于数据进hive采用的是dynamic partition，这些垃圾数据有些是partiition字段 like： >show partitions dpdw_traffic_base; hp_stat_time=23412341723471923749...
Hive 默认分区的测试
houzhizhen的专栏
01-13 723
Hive 默认分区的数据检索
Hive：分区删除与分区截断的用法和区别
TechWhiz的博客
08-17 1828
总结：在Hive中，使用drop partition命令可以删除表中指定分区的数据，并将分区完全移除。最后，使用了drop partition和truncate partition命令来删除和截断指定的分区数据。与drop partition不同的是，truncate partition只删除分区数据，而保留分区的定义。而truncate partition只删除指定分区的数据，保留分区的定义。其中，table_name是目标表的名称，partition_spec是要删除的分区的特征。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值