hive 外部表、内部表、静态分区、动态分区、临时表

yostkevin

已于 2024-05-11 15:15:23 修改

阅读量1.7k

点赞数 1

分类专栏：大数据文章标签： hive hadoop 数据仓库

于 2021-08-15 16:17:57 首次发布

本文链接：https://blog.csdn.net/u014384314/article/details/119060761

版权

本文详细介绍了Hive中的内部表和外部表的区别，包括数据管理、元数据存储位置以及使用场景。此外，还讨论了分区表的概念，包括静态分区和动态分区的设置与操作，并解释了如何向分区表动态插入多个分区历史数据。最后，提到了临时表的特性，即仅在当前会话中可见，数据存储在用户的scratch目录中。

摘要由CSDN通过智能技术生成

内外部表区别

1.内部表由hive自己管理数据(所以hive删表会删元数据和主数据)，(主)数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），但也可以自己指定路径;

外部表数据由HDFS管理(所以hive删表会删元数据，但不会删主数据)，(主)数据存储位置由自己建表时指定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的数据库名/表名创建一个文件夹，并将属于这个表的数据存放在这里）。

2.使用技巧因为内外部表均可以自己指定路径，所以可以通过将内部表指定为外部表的路径来删除外部表的主数据。外部表本身不能truncate和drop掉主数据。

hive元数据存储位置

Hive将元数据存储在关系型数据库中(如MySQL、derby),Hive的元数据包括数据库名、表名及类型、字段名称及数据类型、数据所存储的位置等。

使用场景

内部表作为ETL临时表使用，外部表作为生产业务表。

1.内部表 (managed table)

use test;
create table t1(
    id      int
   ,name    string
   ,hobby   array<string>
   ,add     map<String,string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
;

hdfs path: hdfs://namenode:9000/user/hive/warehouse/test.db/t1


1,xiaoming,book-TV-code,beijing:chaoyang-shagnhai:pudong
2,lilei,book-code,nanjing:jiangning-taiwan:taibei
3,lihua,music-book,heilongjiang:haerbin

load data local inpath '/home/hadoop/Desktop/data' overwrite into table t1;

select * from t1;

2. 外部表(external table)

use test;
create external table t2(
    id      int
   ,name    string
   ,hobby   array<string>
   ,add     map<String,string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
location '/user/t2'
;

hdfs path: hdfs://namenode:9000/user/t2


load data local inpath '/home/hadoop/Desktop/data' overwrite into table t2;

desc formatted t1;
desc formatted t2;