从hive中matastore表中删除分区表

最新推荐文章于 2021-10-26 17:46:58 发布

qq_24990561

最新推荐文章于 2021-10-26 17:46:58 发布

阅读量324

点赞数

分类专栏：技术文章标签：分区表 hive matastore

本文链接：https://blog.csdn.net/qq_24990561/article/details/86634355

版权

本文详细介绍了如何在Hive中管理和删除分区表，包括创建分区表、加载数据、查询数据以及通过元数据删除分区表的操作，并强调了在删除过程中需要注意的坑和解决方法。

摘要由CSDN通过智能技术生成

1.引入分区表(需要根据日期对日志进行管理)

/user/hive/warehouse/log_partition/20190101/20190101.log
/user/hive/warehouse/log_partition/20190102/20190102.log
/user/hive/warehouse/log_partition/20190103/20190103.log

2.创建分区表语法

…

create table dept_partition(
deptno int,
dname string,
loc string
)
partitioned by (month string)
row format delimited fields terminated by ‘\t’;…

3.加载数据到分区表中

load data local inpath ‘/home/hadoop/data/dept201901.txt’ into table dept_partition partition(month=‘201901’);

坑一：Failed with exception MetaException(message:For direct MetaStore DB connections, we don’t support retries at the client level.)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

https://blog.csdn.net/qq_35732963/article/details/54291970

load data local inpath ‘/home/hadoop/data/dept201902.txt’ into table default.dept_partition partition(month=‘201902’);

load data local inpath ‘/home/hadoop/data/dept201903.txt’ into table default.dept_partition partition(month=‘201903’);

4.进入http://192.168.217.129:50070/查看partition_table分区是否成功

5.查询分区表中数据

5.1 单分区查询