一、Hive的数据类型
- 基本数据类型
- 整数型:tinyint/smallint/int/bigint
- 浮点型:float/double
- 布尔类型:boolean
- 字符串类型:string
- 复杂数据类型
- Array
- Map
- Struct
- 时间类型
- Date:年月日
- Timestamp
二、Hive的数据模型
- 内部表
- 与数据库中table在概念上是类似的
- 每个table在Hive中都有一个相应的目录存储数据
- 所有table数据(不包括External Table)都保存在这个目录中
- 删除表时,元数据与数据都会被删除
- 分区表
- Partition对应于数据库中的Partition列的密集索引
- 在Hive中,表的一个Partition对应于表的一个目录,所有的Partition的数据都存储在对应的目录中
- 创建分区表:
create table partition_table
(id int,name string)
partitioned by (gender string)
row format delimited fields terminated by ',';
- 外部表(External Table)
- 指向已经在HDFS中存在的数据,可以创建Partition
- 它和内部表在元数据的组织上是相同的,而实际数据存储则有较大差异
- 外部表只有一个过程,加载数据和创建表同时完成,并不会移动到数据仓库目录中,只是与外部数据建立一个链接。当删除外部表时,仅删除该链接。
- 创建外部表
create external table external_student
(id int, name string, age int)
location '/input/student';
- 桶表(Bucket Table)
- 桶表是对数据进行哈希取值,然后放到不同的文件中存储。
- 创建桶表
create table bucket_table
(id int,name string,age int)
clustered by (name) into 5 buckets;
- 视图(View)
- 视图是一种虚表,是一个逻辑概念;可以跨越多张表
- 视图建立在已有表的基础上,视图赖以建立的这些表称为基表
- 视图可以简化复杂的查询
- 创建视图
create view view_test
as
select p.phone,g.gender
from yxyx_user p,partition_table g
where p.user_id = g.id;