Hive

前文：

         Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

一、概念

1、数据仓库工具

数据库与数据仓库的区别：

2、核心功能

3、应用场景

二、Hql语法

1、数据类型

2、基本操作语法

3、Hive表

5、Hive explode

 

6、高级函数之字符函数

7、关键字及部分函数

注：数据中的null 在 hive 底层默认是用"\N"来存储的，sqoop 到 mysql 之前需要将为 null 的数据加工成其他字符，否则 sqoop 提示错误。

三、常见问题及优化

1、数据倾斜

注：另外量个解决方式：还有Hive优化中的两个优化参数设置（group by优化、map side join启动）

2、Hive优化

3、自定义函数