Hive外部表详解以及案例演示

什么叫外部表

外部表只能在Oracle 9i之后来使用。简单地说，外部表，是指不存在于数据库中的表。通过向Oracle提供描述外部表的元数据，我们可以把一个操作系统文件当成一个只读的数据库表，就像这些数据存储在一个普通数据库表中一样来进行访问。外部表是对数据库表的延伸。

外部表的特性

（1） 位于文件系统之中，按一定格式分割，如文本文件或者其他类型的表可以作为外部表。
（2） 对外部表的访问可以通过SQL语句来完成，而不需要先将外部表中的数据装载进数据库中。
（3） 外部数据表都是只读的，因此在外部表不能够执行DML操作，也不能创建索引。
（4） ANALYZE语句不支持采集外部表的统计数据，应该使用DMBS_STATS包来采集外部表的统计数据。
（5） 可以查询操作和连接。可以并行操作。
（6） 数据在数据库的外部组织，是操作系统文件。
（7） 操作系统文件在数据库中的标志是通过一个逻辑目录来映射的。

创建外部表

建表语句

建表分隔符

1、Hive中默认分隔符：
字段：Ctrl+A或^A(\001)
集合：Ctrl+B或^B(\002)
映射：Ctrl+C或^C(\003)
2、注意：
建表时指定分隔符只能用于非嵌套类型
嵌套类型由嵌套级别决定
数组中嵌套数组-外部数组是^ B，内部数组是^C
映射中嵌套数组-外部映射是^C，内部数组是 ^D

案例演示

首先先模拟用户数据
1、创建hdfs新文件夹data

模拟数据以csv表格模拟为准，创建第一个模拟数据

将模拟数据上传至hdfs服务器
hdfs dfs -put /opt/d1.csv /data/

2、然后在hive里面创建一个新的外部表

hive> create external table customs(
    > cust_id string,
    > cust_name string,
    > age int
    > )
    > row format delimited fields terminated by ','
	> location '/data';

查询数据

此时可在hdfs添加新的模拟用户数据。
3、添加数据再次查询

上传
[root@zjw ~]# hdfs dfs -put /opt/d2.csv /data/

此时再查询建的外部表

此时新的数据已经映射到外部表中。