Hive创建外部表以及分区

最新推荐文章于 2024-08-08 09:42:58 发布

原创

最新推荐文章于 2024-08-08 09:42:58 发布 · 1.2w 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#hive

本文介绍了如何在Hive中创建外部表并利用分区进行数据管理。创建外部表便于从HDFS挂载数据，而分区能缩小查询范围。通过示例展示了创建多级分区目录、删除分区的方法，强调了在查询时指定分区可提高效率。同时提到，Hive中没有`delete from`语句，但可通过`drop partition`删除分区数据。

创建带分区的外部表

创建外部表的好处是数据可以随时从hdfs中挂载进表中

使用分区的好处是可以缩短查询范围

下面的例子展示了如何创建外部表

CREATE EXTERNAL TABLE my_daily_report(
    last_update string,
    col_a string,
    col_b string,
    col_c string,
    col_d string,
    col_e string,
    col_f string,
    col_g string,
    col_h string,
    col_i string,
    col_j string)
    PARTITIONED BY (
    par_dt string) location '/user/chenshu/data/daily';

挂载分区目录

alter table my_daily_report add partition (par_dt='20140530') location '/user/chenshu/data/daily/my_daily_report/20140530';

上面的例子只使用了一个分区，其实还可以使用多个分区，比如一个分区管理日报表，这个分区对应一个目录，在这个目录下还可以有小时分区，用不同的目录存放不同小时的报表。这时，分区之间的关系就是目录树的关系。

删除分区

当然也要提供一个删除part_dt='20140530'分区的方法：

alter table my_daily_report drop partition (par_dt='20140530

最低0.47元/天解锁文章