Hive 基础你需要掌握这些

HDFS 中一个简单的 Join查询，是否需要撸一大串代码？我只会SQL语句 能不能入坑大数据？这里我们就来聊一聊 Hive。

Hive 是什么？

Hive 是一种数据仓库工具，不提供数据存储（数据还是存储在 HDFS 上），它能让你通过 SQL语句实现 MapReduce 统计。

Hive 是一个SQL解析引擎，是将SQL语句转译成 MapReduce 作业，然后在 Hadoop 平台上运行。

Hive 中的表是纯逻辑表，只有表的元数据，本质就是 Hadoop 的目录或文件。

Hive 一般读多写少，不支持对数据的改写和删除，它没有定义专门的数据格式，需要由用户指定，通常包括三个属性：

• 列分割符，包括：空格、’,’、‘\t’。
• 行分割符，一般为’\n’。
• 读取文件数据的方法。

Hive 上的SQL和传统 SQL区别

	HiveQL	SQL
数据存储	HDFS、Hbase	Local File System
数据格式	用户自定义	系统决定
数据更新	不支持，支持数据覆盖	支持
索引	有（0.8之后）	有
执行	MapReduce 计算模型	Executor
可扩展性	高（UDF、UDAF、UDTF）	低
数据规模	大	小
执行延迟	高	低
数据检查	读时模式	写时模式

Hive 架构

我们通过 Hive 的 Client（Hive 的命令行工具，JDBC等）向Hive 提交 SQL 命令，如果是创建数据表的数据定义语言（DDL），Hive 通过执行引擎 Driver 将数据表的信息记录在 Metastore 元数据组件中。

如果提交的是查询分析数据的数据查询语句（DQL），Driver 会将该语句提交给自己的编译器 Compiler 进行语法分析、语法解析、语法优化等一系列操作，最后生成 MapReduce 执行计划，然后根据执行计划生成一个 MapReduce 作业，提交给MapReduce 计算框架进行处理。

常用命令

一次执行多条查询语句，可以将这些查询语句保存在后缀为 hql 的文件中，然后通过下面的命令一次执行。

 hive -f XX.hql 

使用 Hive 时，有时需要查看 HDFS，可以在 Hive 命令下，执行dfs 命令，如下：

dfs -ls /

语法梳理

数据类型

Hive 支持两种数据类型：原生类型和复合类型。原生类型包括：TINYINT、SMALLINT、INT、BIGINT、BOOLEAN、FLOAT、DOUBLE、STRING、BINARY（0.8以上才可用）、TIMESTAMP（0.8以上才可用）。复合数据类型包括：ARRAY、MAP、STRUCT、UNION。

存储格式

Hive 支持的文件存储格式有

• textfile（默认格式）
• sequencefile（二进制格式）
• refile
• 自定义格式

一个 student 表的创建实例：

create table student (
name string,
age int,
cource array<string>,
body map<string,float>,
address struct<street:string,city:string,state:string>
)
row format delimited
fields terminated by '\001' --指定列分隔符
--collection items terminated by '\002' -- 指定集合元素间的分割符
--map keys terminated by '\003' -- 指定类型为 map 的字段的键值对分隔符
--lines terminated by '\n' -- 指定行分隔符
--stored as textfile -- 存储的文件格式
;

Hive 表

外部表

Hive 默认创建的是内部表，外部表创建语句如下：

create external table ...location '/xxx/xx/x'

关键字 external 指定了该表为外部表，location 指明了数据存放在 HDFS 的 ‘/xxx/xx/x’ 目录下。

当要删除外部表时，Hive 会认为没有完全拥有这份数据，只会删除该外部表的元数据信息，而不会删除该表的数据。

分区表

分区表的创建语句如下：

create table ...partitioned by ...

在分区表中，一个 partition 对应表下的一个目录。

桶（Bucket）

Hive 支持对每一个表或分区，进一步分桶，其创建语句示例如下：

create table bucket_user(
id int,
name string 
)
clustered by (id) into 4 buckets;

Bucket 的主要作用包括：数据采样和提升某些查询操作效率。数据采样的语法示例如下：

select * from bucket_user tablesample(bucket 1 out of 2 on id);

tablesample(bucket x out of y) 中y必须是表中总bucket 数的倍数或因子，x表示从哪个bucket 开始抽。例如：表中总bucket 数为32，tablesample(bucket 3 out of 16)，表示总共抽取2个（32/16）桶的数据，是第三个bucket 和第19（3+16）个bucket中的数据。

Join 和 Group by

一条常见的SQL语句，按照 MapReduce 编程模型，其 map 和 reduce 端输入和输出分别是什么？我们分析常见的两种：

• group by

SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age;

pageid, age 形成Key，count(1) 形成value，经过统计后在reduce输出端重新将 key 拆开与value生成三列。

• join

SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);

join 中将 userid 作为key，value 为二元组<表编号,pageid/age>，shuffle 阶段，将相同的key 合并，reduce 输出是将 二元组<表编号,pageid/age>中ageid和age做笛卡尔积。

异常说明

ParseException line 2:0 cannot recognize input near ‘’ ‘’ ‘’

可能分号后面有空格导致的。