1 基本数据类型
Hive 中的基本数据类型也称为原始类型,包括整数、小数、文本、布尔、二进制以
及时间类型。
整数:TINYINT、SMALLINT、INT、BIGINT
小数: FLOAT、DOUBLE、DECIMAL
文本: STRING、CHAR、VARCHAR
布尔:BOOLEAN
进制:BINARY
时间: DATE、TIMESTAMP、INTERVAL
上述数据类型都是对 Java 中的接口的实现,所以类型的具体行为细节和 Java 中对
应的类型完全一致。比如 STRING 类型实现的是 Java 中的 String,FLOAT 类型实现的是
Java 中的 float。
1.整数类型
Hive 具有 4 种带符号的整数类型:TINYINT、SMALLINT、INT、BIGINT,分别对
应 Java 中的 byte、short、int、long,字节长度分别为 1、2、4、8 字节。在使用整数变
量时,默认情况下为 INT,如果要声明为其他类型,须通过后缀来标识。
2.小数类型(浮点型)
小数类型也称为浮点类型,包括 FLOAT 和DOUBLE 两种,对应Java 中的 float 和
double,分别为 32 位和 64 位浮点数。
此外,Hive 还可以使用 DECIMAL 来表示任意精度的小数,类似于 Java 中的
BigDecimal,其通常在货币当中使用。
3.文本类型
文本类型也称为字符串类型,使用单引号或双引号来指定。Hive 有 3 种类型用于存
储文本。
(1) STRING 存储可变长的文本,对长度没有限制。理论上 STRING 的存储空间为
2GB,但是存储特别大的对象时效率会受影响,此时可以考虑使用 Sqoop 提供的大对象
支持。
(2)VARCHAR 与 STRING 类似,但其存储字符串的长度要求在 1~65355 之间,
超出部分将被截断,例如 VARCHAR(20)。
(3)CHAR 以固定长度来存储字符串,最大固定长度为 255,例如 CHAR(20)。
注意
VARCHAR(20)与 CHAR(20)的区别是:如果存入的字符串长度为 10,则
VARCHAR(20)占用实际字符串长度为 10,而 CHAR(20)占用实际字符串长度仍为
20,未使用的空间将会用空格填充。
4.布尔及二进制类型
布尔(BOOLEAN)类型值有 true 和 false 两种。
进制类型BINARY用于存储变长的二进制数据,如10110。
5.时间类型
DATE 类型用于描述特定的年月日,以 yyyy-MM-dd 格式表示,例如 2024-03-14。
TIMESTAMP突在储的秒级别的时间截。TIMESTAMP 与时区无关,存储UNI纪元(1970-01-01 00:00:00) 的偏移量,其常见用法如下。
(1)unix timestamp()函数
>使用unix_timestamp0函数得到当前时间戳
>使用unix_timestamp(string date)将“yyyy-MM-dd HH:mm:ss”格式的字符串转为
时间戳。
> 使用unix_timestamp(string datestring format)将指定字符串(如“2024-03-14”
按指定格式(如“yyyy-MM-dd”) 转为时间戳。
(2)from unixtime()函数
使用from_unixtime(timstamp,'yyyy-MM-dd HH:mm:ss ')将指定时间戳以指定格式
显示。
(3) cast()函数
>cast0函数用于在 TIMESTAMP、DATE、STRING 类型之间做转换,举例如下:
>cast(date as date):返回相同的日期。
>cast(date as timestamp): 基于本地时区,返回对应 00:00:00 时间戳的日期
>cast(date as string): 日期被转换为“yyyy-MM-dd”格式的字符串。
>cast(timestamp as date):基于本地时区确定时间戳的年月日,并将其作为值返回。
>cast(string as date): 如果字符串的格式为“yyyy-MM-dd”,则返回对应的日期否则返回 NULL。
INTERVAL 类型表示时间间隔,其仅被 Hive 1.2.0 之后的版本支持。
2.复杂数据类型
在 SQL 的表设计中,字段通常不能被再分解,这意味着每一个字段不能再被分割成多个字段。
与 SQL 不同,HiveQL 没有上述局限性。Hive 的表字段不仅可以是基础数据类型还可以是复杂数据类型(Complex Types)。Hive 有 4 种常用的复杂数据类型,分别是数组(ARRAY)、映射(MAP)、结构体 (STRUCT)和联合体(UNIONTYPE)。
1.ARRAY 和 MAP
ARRAY 是具有相同类型变量的集合。这些变量称为数组的元素,每个数组元素都
一个索引编号,编号从零开始。
数据格式:['Apple',' Orange','Mongo']
定义示例:array<string>
使用示例:a[0]='Apple
其中,a 表示表字段名,该字段的类型为 ARRAY,允许存储的数据为 string,起始
访问索引为 0。
MAP 是一组键值对集合,key 只能是基本类型,值可以是任意类型。
数据格式:['A':'Apple', 'O':'Orange']
定义示例:map<string,string>
使用示例: b['A']='Apple'
其中,b表示表字段名,该字段的类型为 MAP,允许存储一个<string,string>类型的
键值对,直接按键访问即可。
2.STRUCT
STRUCT 封装了一组有名字的字段(Named Field),其类型可以是任意的基本类型 ,结构体内的元素使用“.”来访问。
数据格式:{'Apple',2}
定义示例:struct<fruit:string,weight:int>
使用示例:c.weight=2
其中,c表示表字段名,该字段的类型为 STRUCT,包含两个元素“fruit”和“weight”,对元素的访问方式类似于 Java 中访问对象的属性。
3.UNIONTYPE
在给定的任何一个时刻,UNIONTYPE 类型可以保存指定数据类型中的任意一种
其类似于 Java 中的泛型,在任一时刻只有其中的一个类型生效。
UNIONTYPE 的特点是可以存储任何已定义的类型,但是同一时刻只能使用其中一种类型。
注意
目前 Hive对 UNIONTYPE 类型的支持还不够完善,在这种类型的字段上进行 join、where、group by 操作将会失败。