Hive Drop 外表，同时删除数据

最新推荐文章于 2022-08-08 21:23:46 发布
最新推荐文章于 2022-08-08 21:23:46 发布
阅读量2.9k 收藏 6
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CY_TEC/article/details/103598562
版权

将外表的清除属性设置为 true 就可以在 drop 的时候清除外表的数据，无需手动删除了。

ALTER TABLE addresses_text SET TBLPROPERTIES ('external.table.purge'='true');

参考

https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.4/using-hiveql/content/hive_drop_external_table_data.html

CY_TEC
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive原理及使用：建表、文件格式、外表、分区、分桶，删除数据、更改表的属性
.
02-27 3825
1、什么是 metastore   metadata 即元数据。包含 database、tabel、column names、partitions 信息、bucketing 信息等的元数据信息。   元数据默认是存储在 Derby 中，建议存储在关系型数据库中。 metastore 安装方式有什么区别 内嵌模式   内嵌模式使用的是内嵌的 Derby 数据库来存储元数据，也不需要额......
hive清空外表数据
微电子学与固体电子学-俞驰
03-30 684
如果是这样建立外表的 CREATE EXTERNAL TABLE `Target`( `yyyyyyy` string, `xy_x` double, `insertTime` timestamp ) PARTITIONED by ( `dt` string ) STORED AS orcfile LOCATION '/Data/Target/2021-03-30'; 那么我们需要tuncate这个Target表格的时候的命令就是 hdfs dfs -rm -r /Dat...
hive删除EXTERNAL外表
777的博客
12-14 7595
外表不能按一般步骤drop，否则你还得手动去hdfs rm -r xxx文件，并且还可能遇到因为文件太大而不能删除等问题； 最好需要执行以下两个步骤： ALTER TABLE xxx SET TBLPROPERTIES('EXTERNAL'='False'); drop table xxx;...
hive外部表删除
eli的博客
01-14 6455
hive外部表删除遇到的一个坑 操作步骤 创建某个表（create external table xxx location xxx） 插入数据(insert xxx select xxx from xxx) 删除表（drop table xxx） 重新创建 插入数据 查询数据 现象 查询数据发现部分第一次插入的数据 查询数据量发现大于第二次插入的数量 原因 与其说是坑，不如说是自己忽略了一点： 插入的是外部表，当drop表之后，数据并没有删除 第二次创建表location指向的还是原
hive删除表和数据，以及删除库
qq_43662627的博客
08-10 788
#hive删除表和数据 ALTER TABLE table_name SET TBLPROPERTIES('EXTERNAL'='False'); drop table xxx; #删除表分区 alter table table_name drop partition (partition_name='分区名') #只删除表不删除数据 truncate table table_name #删除库前必须先删除库里面所有的数据 drop database if exists ...
HIVE删除外部表
行走的IT
07-25 3万+
测试 使用truncate命令删除外部表: truncate table mytable; #FAILED: SemanticException [Error 10146]: Cannot truncate non-managed table mytable. (state=,code=0) 分析 查看表结构 1. describe extended tablename 2. ...
Hive表drop删除表后恢复表的分区数据
攻城狮Kevin
10-28 3633
如果HDFS配置好回收站的话，drop删除表后可以通过命令恢复表数据， 例如回收站HDFS路径如下： /user/hdp_teu_dpd/.Trash/Current/ 表的HDFS路径如下： /home/hdp_teu_dpd/warehouse/wbdb.db/dw_smart_merge_idmapping/ 当drop tabledw_smart_merge_idmappi...
hive内部表外部表的挂载数据、删除数据及修改原数据
CodingWithGakki
09-29 1317
标题hive内部表外部表的挂载数据、删除数据及修改原数据 各种细节,一一帮你踩坑 原数据 1700 Beijing 1800 London 1900 Tokyo 建立外部表： create external table student id int name strin )row format delimited fields terminated by ' ' 加载本地数据： load data local inpath '/root/data/student.txt' into table st
-Hive-
weixin_44560620的博客
05-31 789
Hive定义 Hive 是一种数据仓库技术，用于查询和管理存储在分布式环境下的大数据集。构建于Hadoop的HDFS和MapReduce上，用于管理和查询分析结构化/非结构化数据的数据仓库; 使用HQL（类SQL语句）作为查询接口； 使用HDFS作为底层存储； 使用MapReduce作为执行层，即将HQL语句转译成M/R Job然后在Hadoop执行 Hive的表其实就是HDFS的目录/文件夹，按表名把文件夹分开。如果是分区表，则分区值是子文件夹； Hive概述—元数据、数据、目录 元数据保存在DB（
hive误删数据表恢复
Ysuzuran的博客
09-10 3193
数据被update后想要找回原先的数据只知道HBASE可以通过回退版本号查找，oracle数据库可以基于时间查询as of timestamp语句的办法进行恢复数据，MySQL可以在MySQL server开启了binlog的情况下通过binlog2sql快速回滚（该方法适用于dml，不适用于DDL，如果是drop了一张大表，必须要在执行DDL前先备份老数据才能实现回滚），其他数据库遇到这种问题好像不能回退，但是好像可以通过数据库日志进行处理，具体怎么处理还在了解中。。。。。 如果hive里误删的数据表，恢
hive数据仓库
qq_44676946的博客
03-15 3369
数据仓库-Hive 数据仓库 1.1. 基本概念 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。 数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：面向分析的存储系统。 1.2. 主要特征 数据仓库是面向主题的（Subject-Oriented ）、集成的（Integ
shell脚本删除hive外部表数据（元数据+hdfs数据）
LZX的博客
06-28 1293
本人分区字段 dt 格式为 2021-06-28 分区建表hdfs存储位置为 /warehouse/xxx/ods/ods_tbl_table1/dt=2021-06-28/ 删除hive外部表数据 1.删除元数据 2.删除hdfs存储数据 #!/bin/bash # 执行sh xx.sh 2021-05-01 2021-06-01 # 删除hive表分区元数据及hdfs数据 # APP为hive数据库名称 APP=xxx # hive启动目录 hive=/usr/hdp/3.1.4.0-315/hive
Hive操作——删除表(drop、truncate)
热门推荐
夏天小厨的博客
07-02 13万+
Hive删除操作主要分为几大类：删除数据（保留表）、删除库表、删除分区。我将以下图为例清空iot_devicelocation中的数据，之后再删除表、库等。 首先来看一下iot_deivcelocation中的数据。select * fromiot_deivcelocation。 一、仅删除表中数据，保留表结构 hive> truncate table iot_device...
Hive创建/删除/截断表
飞朋的博客
10-22 2783
目录 创建表 内部表和外部表 存储格式 行格式& SerDe Partitioned Tables External Tables Create Table As Select (CTAS) Create Table Like Bucketed Sorted Tables Skewed Tables(倾斜表) Temporary Tables（临时表） Transa...
【Hive】删除表(drop、truncate)
littlemichelle
02-19 6759
Hive删除操作主要分为几大类：删除数据（保留表）、删除库表、删除分区。 一、仅删除表中数据，保留表结构 hive> truncate table 表名; truncate操作用于删除指定表中的所有行，相当于delete from table where 1=1.表达的是一个意思。 注意：truncate 不能删除外部表！因为外部表里的数据并不是存放在Hive Metastore中。创建表的时候指定了EXTERNAL，外部表在删除分区后，hdfs中的数据还存在，不会被删除。因此要想删除外部表
cdp hive3.1表为事务表和外部表的问题
cclovezbf的博客
04-06 4291
参考文章 Apache Hive 3 tablesTable type definitions and a diagram of the relationship of table types to ACID properties clarifies Hive tables. The location of a table depends on the table type. You might choose a table type based on its supported storage form
hive清空外部表的三种方式
寒夜二十五
01-29 9772
本文为转载，原文链接： https://blog.csdn.net/lixiaoksi/article/details/106919895 https://blog.csdn.net/elizabethxxy/article/details/108912884 本文总结hive中清空外部表的三种方式 hive版本：2.1.1 环境准备 新建一张外部表： create external table test_external(name String,age int,sex String) s..
使用Hive SQL查询Iceberg表的正确姿势
None
08-08 2322
本文首发微信公众号：码上观世界Iceberg作为一种表格式管理规范，其数据分为元数据和表数据。元数据和表数据独立存储，元数据目前支持存储在本地文件系统、HMS、Hadoop、JDBC数据库、AWS Glue和自定义存储。表数据支持本地文件系统、HDFS、S3、MinIO、OBS、OSS等。元数据存储基于HMS比较广泛，在这篇文章中，表数据存储基于MinIO、元数据存储主要...
HIVE---TBLPROPERTIES
04stone37
11-02 3万+
介绍 TBLPROPERTIES是表的一些属性，HIVE内置了一部分属性，使用者也可以在创建表时进行自定义； HIVE内置的TBLPROPERTIES EXTERNAL：通过修改此属性可以实现内部表和外部表的转化，如下： alter table table_name set TBLPROPERTIES ('EXTERNAL'='TRUE'); //内部表转外部表 alter tabl...
HIVE DROP partition
最新发布
07-26
Hive DROP PARTITION命令用于从Hive数据仓库中删除指定的分区。分区是在表的基础上创建的一种逻辑分组，通常基于某个列的值。当你想移除表中的特定数据子集，例如清理过期或不再需要的数据，可以使用这个命令。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值