Hive基础

hive的基础部分大致有四部分：Hive数据类型、Hive运算符、Hive数据存储、Hive表存储格式。这四部分是学习hive必须掌握的知识。

一、Hive数据类型

        整体概述

1，hive的数据类型指的是表中列字段类型，类似于编程语言中对变量类型的定义如：浮点型、整型、布尔型等等。

2，hive的数据类型分为两大类：基本数据类型和复杂数据类型。

        基本数据类型包括：数值类型、布尔类型、字符串类型、时间日期类型。

        复杂数据类型包括：Array数组、Map映射、Struct结构体。

        基本数据类型

2字节、4字节、8字节的有符号整数的取值范围：https://blog.csdn.net/m0_48011056/article/details/125153980

基本数据类型	描述	示例
Tinyint	1字节有符号整数	80
Smallint	2字节有符号整数	80
Int	4字节有符号整数	80
Bigint	8字节有符号整数	80
Boolean	布尔类型，True或者False	True，False
Float	单精度浮点数	3.14159
Double	双精度浮点数	3.14159
Decimal	任意精度的带符号小数	Decimal(5,2)用于存储-999.99～999.99的5位数值，小数点后2位
String	变长字符串。使用单引号或双引号	'now is the time'，"for all good men"
Varchar	变长字符串	"a"，'b'
Char	固定长度字符串	"a"，'b'
Date	日期，对应年、月、日	'2021-03-29'
TimeStamp	时间戳	不包含任务的时区信息
Binary	字节数组	用于存储变长的二进制数据

        复杂数据类型

复杂数据类型	描述	示例
Array	一组具有相同数据类型的数据的集合	数组friends['Bill','Linus']，第2个元素可以通过friends[1]进行访问
Map	一组键值对元组的集合	如果字段children的数据类型是Map，其中键值对是'Paul'->18，那么可以通过字段名children['Paul']访问这个元素
Struct	封装一组有名字的字段，其类型可以是任意的基本数据类型	如果字段address的数据类型是Struct{first String, last String}，那么第1个元素可以通过address.first来访问

注意事项：

Hive SQL中，数据类型英文字母大小写不敏感；

除SQL数据类型外，还支持Java数据类型，比如字符串string；

复杂数据类型的使用通常需要和分隔符指定语法配合使用；

如果定义的数据类型和文件不一致，Hive会尝试隐式转换，但是不保证成功。

隐式转换：

与标准SQL类似，HQL支持隐式和显式类型转换。 原生类型从窄类型到宽类型的转换称为隐式转换，反之，则不允许。 下表描述了类型之间允许的隐式转换：

​

显示转换：

显式类型转换使用CAST函数。 例如，CAST（‘100’ as INT）会将100字符串转换为100整数值。 如果强制转换失败，例如CAST（‘Allen‘ as INT），该函数返回NULL。

二、Hive运算符

Hive有4种类型的运算符：算术运算符、比较运算符、逻辑运算符和复杂运算符。

算数运算符：

​

比较运算符：

​

​

​

逻辑运算符：

​

复杂运算符：

​

三、Hive存储路径

默认存储路径

Hive表默认存储路径是由 ${HIVE_HOME}/conf/hive-site.xml配置文件的hive.metastore.warehouse.dir属性指定，默认值是：/user/hive/warehouse。

Databases 数据库

Hive作为一个数据仓库，在结构上积极向传统数据库看齐，也分数据库（Schema），每个数据库下面有各自的表组成。默认数据库default。

Hive的数据都是存储在HDFS上的，默认有一个根目录，在hive-site.xml中，由参数hive.metastore.warehouse.dir指定。默认值为/user/hive/warehouse。 因此，Hive中的数据库在HDFS上的存储路径为： ${hive.metastore.warehouse.dir}/databasename.db

比如，名为itcast的数据库存储路径为： /user/hive/warehouse/itcast.db

数据模型概念

数据模型：用来描述数据、组织数据和对数据进行操作，是对现实世界数据特征的描述。

Hive的数据模型类似于RDBMS库表结构，此外还有自己特有模型。

Hive中的数据可以在粒度级别上分为三类： Table 表、 Partition 分区、 Bucket 分桶，如图：

​

四、Hive表存储格式

hive表的存储格式有两类：行式存储、列式存储。

对于这两种的存储格式，其查询方法也不同，基于存储格式可以分为下面这两种查询分时。

行式查询：适用于查一整行，TextFile、SequenceFile使用行存储。

列式查询：适用于查某一列，ORC、Parquet使用列存储。

对于这两种查询方式举个简单例子：(a)为逻辑表，(b)为行式存储，(c)为列式存储

​

文件格式-TextFile

1、TextFile是Hive中默认的文件格式，存储形式为按行存储。

2、工作中最常见的数据文件格式就是TextFile文件，几乎所有的原始数据生成都是TextFile格式，所以Hive设计时考虑到为了避免各种编码及数据错乱的问题，选用了TextFile作为默认的格式。

3、建表时不指定存储格式即为TextFile，导入数据时把数据文件拷贝至HDFS不进行处理。

文件格式-SequenceFile

1，SequenceFile是Hadoop里用来存储序列化的键值对即二进制的一种文件格式。

2，SequenceFile文件也可以作为MapReduce作业的输入和输出，hive也支持这种格式。

文件格式-Parquet

1，Parquet是一种支持嵌套结构的列式存储文件格式，最早是由Twitter和Cloudera合作开发，2015年5月从Apache孵化器里毕业成为Apache顶级项目。

2，是一种支持嵌套数据模型对的列式存储系统，作为大数据系统中OLAP查询的优化方案，它已经被多种查询引擎原生支持，并且部分高性能引擎将其作为默认的文件存储格式。

3，通过数据编码和压缩，以及映射下推和谓词下推功能，Parquet的性能也较之其它文件格式有所提升。

Parquet的特点： 高效的数据编码和压缩

文件格式-ORC

1，ORC（OptimizedRC File）文件格式也是一种Hadoop生态圈中的列式存储格式；

2，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度；

3，2015年ORC项目被Apache项目基金会提升为Apache顶级项目。

1，ORC不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。

2，ORC文件是自描述的，它的元数据使用Protocol Buffers序列化，并且文件中的数据尽可能的压缩以降低存储空间的消耗，目前也被Hive、Spark SQL、Presto等查询引擎支持。