Hive SQL之数据类型和存储格式

目录 

• 一、数据类型
  • 1、基本数据类型
  • 2、复杂类型
• 二、存储格式
  • （1）textfile 
  • （2）SequenceFile 
  • （3）RCFile 
  • （4）ORCFile 
  • （5）Parquet 
• 三、数据格式

  正文

  回到顶部

  一、数据类型

  1、基本数据类型

  Hive 支持关系型数据中大多数基本数据类型

  类型	描述	示例
  boolean	true/false	TRUE
  tinyint	1字节的有符号整数	-128~127 1Y
  smallint	2个字节的有符号整数，-32768~32767	1S
  int	4个字节的带符号整数	1
  bigint	8字节带符号整数	1L
  float	4字节单精度浮点数	1.0
  double	8字节双精度浮点数	1.0
  deicimal	任意精度的带符号小数	1.0
  String	字符串，变长	“a”,’b’
  varchar	变长字符串	“a”,’b’
  char	固定长度字符串	“a”,’b’
  binary	字节数组	无法表示
  timestamp	时间戳，纳秒精度	122327493795
  date	日期	‘2018-04-07’

  和其他的SQL语言一样，这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现，因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如，string类型实现的是Java中的String，float实现的是Java中的float，等等。

  2、复杂类型

  类型	描述	示例
  array	有序的的同类型的集合	array(1,2)
  map	key-value,key必须为原始类型，value可以任意类型	map(‘a’,1,’b’,2)
  struct	字段集合,类型可以不同	struct(‘1’,1,1.0), named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0)

  回到顶部

  二、存储格式

  Hive会为每个创建的数据库在HDFS上创建一个目录，该数据库的表会以子目录形式存储，表中的数据会以表目录下的文件形式存储。对于default数据库，默认的缺省数据库没有自己的目录，default数据库下的表默认存放在/user/hive/warehouse目录下。

  （1）textfile 

  textfile为默认格式，存储方式为行存储。数据不做压缩，磁盘开销大，数据解析开销大。 

  （2）SequenceFile 

  SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。 

  SequenceFile支持三种压缩选择：NONE, RECORD, BLOCK。 Record压缩率低，一般建议使用BLOCK压缩。 

  （3）RCFile 

  一种行列存储相结合的存储方式。 

  （4）ORCFile 

  数据按照行分块，每个块按照列存储，其中每个块都存储有一个索引。hive给出的新格式，属于RCFILE的升级版,性能有大幅度提升,而且数据可以压缩存储,压缩快 快速列存取。 

  （5）Parquet 

  Parquet也是一种行式存储，同时具有很好的压缩性能；同时可以减少大量的表扫描和反序列化的时间。

  回到顶部

  三、数据格式

  当数据存储在文本文件中，必须按照一定格式区别行和列，并且在Hive中指明这些区分符。Hive默认使用了几个平时很少出现的字符，这些字符一般不会作为内容出现在记录中。

  Hive默认的行和列分隔符如下表所示。

  分隔符	描述
  \n	对于文本文件来说，每行是一条记录，所以\n 来分割记录
  ^A (Ctrl+A)	分割字段，也可以用\001 来表示
  ^B (Ctrl+B)	用于分割 Arrary 或者 Struct 中的元素，或者用于 map 中键值之间的分割，也可以用\002 分割。
  ^C	用于 map 中键和值自己分割，也可以用\003 表示。