Hive数据类型及常用操作总结(一)

一、Hive 数据类型

　　Hive 提供了基本数据类型和复杂数据类型，复杂数据类型是 Java 语言所不具有的。

• 基本数据类型

  　　 　　
  　　
  　 　Ｈive是用java开发的，hive里的基本数据类型和java的基本数据类型也是一一对应的，除了string类型。有符号的整数类型：TINYINT、SMALLINT、INT和BIGINT分别等价于java的byte、short、int和long原子类型，它们分别为1字节、2字节、4字节和8字节有符号整数。Hive的浮点数据类型FLOAT和DOUBLE,对应于java的基本类型float和double类型。而hive的BOOLEAN类型相当于java的基本数据类型boolean。

  　　对于hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。
  　

• 复杂数据类型　

  　　
  　　
  　　Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中的 Array 和 Map 类似，而STRUCT 与 C语言中的 Struct 类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。

  　　 复杂数据类型的声明必须使用尖括号指明其中数据字段的类型。定义三列，每列对应一种复杂的数据类型，如下所示。

CREATE TABLE complex(
    col1 ARRAY< INT>,
    col2 MAP< STRING,INT>,
    col3 STRUCT< a:STRING,b:INT,c:DOUBLE>
)

• 类型转化

  　　 Hive 的原子数据类型是可以进行隐式转换的，类似于 Java 的类型转换，例如某表达式使用 INT 类型，TINYINT 会自动转换为 INT 类型， 但是 Hive 不会进行反向转化，例如，某表达式使用 TINYINT 类型，INT 不会自动转换为 TINYINT 类型，它会返回错误，除非使用 CAST 操作。

  隐式类型转换规则如下：

  1、任何整数类型都可以隐式地转换为一个范围更广的类型，如 TINYINT 可以转换成 INT，INT 可以转换成 BIGINT。
  
  2、所有整数类型、FLOAT 和 String 类型都可以隐式地转换成 DOUBLE。
  
  3、TINYINT、SMALLINT、INT 都可以转换为 FLOAT。
  
  4、BOOLEAN 类型不可以转换为任何其它的类型。
  

  　　 可以使用 CAST 操作显示进行数据类型转换，例如 CAST(‘1’ AS INT) 将把字符串’1’ 转换成整数 1；如果强制类型转换失败，如执行 CAST(‘X’ AS INT)，表达式返回空值 NULL。
  　　

二、Hive 常用操作

Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对 Hive 的表操作进行总结。
1、创建表
　 Hive 的数据表分为两种，内部表和外部表。

　 内部表：Hive 创建并通过 LOAD DATA INPATH 进数据库的表，这种表可以理解为数据和表结构都保存在一起的数据表。当通过 DROP TABLE table_name 删除元数据中表结构的同时，表中的数据也同样会从 HDFS 中被删除。

　外部表：在表结构创建以前，数据已经保存在 HDFS 中，通过创建表结构，将数据格式化到表的结果里。当进行 DROP TABLE table_name 操作的时候，Hive 仅仅删除元数据的表结构，而不删除 HDFS 上的文件，所以，相比内部表，外部表可以更放心大胆地使用。

下面详细介绍对表操作的命令及使用方法。

　　1) 创建内部表使用 CREATE TABLE 命令。与Mysql 创建表的命令一样，COMMENT 是对字段的注释。例如

hive> CREATE TABLE IF NOT EXISTS table1(id INT COMMENT 'comment1',name STRING COMMENT 'comment2',no INT COMMENT 'comment3');

　　2) 创建外部表使用 EXTERNAL 关键字。IF NOT EXISTS 表示如果 table2 表不存在就创建，存在就不创建。例如

hive> CREATE EXTERNAL TABLE IF NOT EXISTS table2(id INT COMMENT 'comment1',name STRING COMMENT 'comment2',no INT COMMENT 'comment3');

备注：关于hive中外部表的补充详解：

-- 建表
create EXTERNAL table IF NOT EXISTS  table3 (name string,age int,address string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
-- 建立分区表，利用分区表的特性加载多个目录下的文件，并且分区字段可以作为where条件，更为重要的是
-- 这种加载数据的方式是不会移动数据文件的，这点和 load data 不同，后者会移动数据文件至数据仓库目录。
alter table test add partition (ptDate='20160830') location '/spark/pred_wsf_detail';
-- 注意目录pred_wsf_detail后千万不要/*

注意：location后面跟的是目录，不是文件，hive会把整个目录下的文件都加载到表中：

create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';
否则，会报错误：
FAILED: Error in metadata: MetaExceptio