一. Hive基础概念
- hive数据模型
- 数据类型
2.1 数值型
类型 说明
TINYINT 1-byte signed integer
from -128 to 127
SMALLINT 2-byte signed integer
from -32,768 to 32,767
INT
INTEGER 4-byte signed integer
from -2,147,483,648 to 2,147,483,647
BIGINT 8-byte signed integer
from -9,223,372,036,854,775,808 to 9,223,372,036,854,775,807
FLOAT 4-byte single precision floating point number
DOUBLE 8-byte double precision floating point number
PRECISION
DECIMAL Decimal datatype was introduced in Hive0.11.0
(HIVE-2693) and revised in Hive 0.13.0 (HIVE-3976)
2.2 日期类型
类型 说明
TIMESTAMP UNIX时间戳和可选的纳秒精度
DATE 描述特定的年/月/日,格式为YYYY-MM-DD
2.3 字符串
类型 说明
string 最常用的字符串格式,等同于java String
varchar 变长字符串,hive用的较多,最长为65535
char 定长字符串,比varchar更多一些,一般不要超过255个字符
2.4 布尔类型
类型 说明
boolean 等同于java的boolean用的很少
2.5 字节数组
类型 说明
binary 字节数组类型,可以存储任意类型的数据用的很少
2.6 复杂(集合)数据类型
数据类型 描述 字面语法示例
STRUCT 和C语言中的struct或者”对象”类似,都可以通过”点”符号访问元素内容。例如,如果某个列的数据类型是STRUCT{first STRING, ladt STRING},那么第1个元素可以通过字段名.first来引用 struct(
‘John’,
‘Doe’)
MAP MAP是一组键-值对元组集合,使用数组表示法(例如[‘key’])可以访问元素。例如,如果某个列的数据类型是MAP,其中键->值对是’first’->’John’和’last’->’Doe’,那么可以通过字段名[‘last’]获取值’Doe’ map(‘first’, ‘John’,
‘last’,
‘Doe’)
ARRAY 数组是一组具有相同类型的变量的集合。这些变量称为数组的元素,每个数组元素都有一个编号,编号从零开始。例如,数组值为[‘John’, ‘Doe’],那么第2个元素可以通过数组名[1]进行引用 ARRAY(
‘John’,
‘Doe’)
- hive数据文件格式和压缩格式
文件格式
文件格式按面向的存储形式不同,分为面向行和面向列两大类文件格式。
面向行/列类型 类型名称 是否可切割计算 优点 缺点 适用场景
面向行 文本文件格式(.txt) 可以 查看、编辑简单 无压缩占空间大、传输压力大、数据解析开销大 学习练习使用
面向行 SequenceFile序列文件格式(.seq) 可以 自支持、二进制kv存储、支持行和块压缩 本地查看不方便:小文件合并成kv结构后不易查看内部数据 生产环境使用、map输出的默认文件格式
面向列 rcfile文件格式(.rc) 可以 数据加载快、查询快、空间利用率高、高负载能力 每一项都不是最高 学习、生产均可
面向列 orcfile文件格式(.orc) 可以 兼具rcfile优点、进一步提高了读取、存储效率、新数据类型的支持 每一项都不是最高 学习、生产均可
压缩格式
压缩格式按其可切分独立性,分成可切分和不可切分两种。
可切分性 类型名称 是否原生支持 优点 缺点 适用场景
可切分 lzo(.lzo) 否 压缩/解压速度快
合理的压缩率 压缩率比gzip低
不原生、需要native安装 单个文件越大,lzo优点越越明显。压缩完成后>=200M为宜
可切分 bzip2(.bz2) 是 高压缩率超过gzip
原生支持、不需要native安装、用linux bzip可解压操作 压缩/解压速率慢 处理速度要求不高、要求高压缩率(冷数据处理经常使用)
不可切分 gzip(.gz) 是 压缩/解压速度快
原生/native都支持使用方便 不可切分、对CPU要求较高 压缩完成后<=130M的文件适宜
不可切分 snappy(.snappy) 否 高速压缩/解压速度
合理的压缩率 压缩率比gzip低
不原生、需要native安装 适合作为map->reduce或是job数据流的中间数据传输格式 - 数据操作分类
操作分类 具体操作 sql备注
DDL •建表
•删除表
•修改表结构
•创建/删除视图
•创建数据库
•显示命令 Create/Drop/Alter Database
Create/Drop/Truncate Table
Alter Table/Partition/Column
Create/Drop/Alter View
Create/Drop Index
Create/Drop Function
Show Describe
DML •数据插入(insert,load) load data…into