Hive数据类型支持以及Hive CLI、Beeline CLI使用

Hive数据类型支持以及Hive CLI、Beeline CLI使用

1 Hive的数据单元

Hive中的数据单元有：

Databases 、Tables 、Partitions、Clusters（Buckets）

Databases用来管理、区分不同的数据；

Tables用来存放不同表的数据；

Partition可以对Table中的数据进行分区；

Cluster可以将不同的分区数据划分到不同的Buckets中，以文件的形式进行保存，一般用于数据量比较大的数据，便于抽样（TABLESAMPLE(2 out of 32 buckets)）。

2 数据类型

Hive支持的基本数据类型有；

TINYINT
SMALLINT
INT
BIGINT
FLOAT
DOUBLE
BOOLEAN
STRING
CHAR
VARCHAR
TIMESTAMP
DATE
DECIMAL
BINARY

复杂数据类型：

S STRUCT{a int ;b int} => S.a
A ARRAY => A[1]
M MAP<key String,value String> => M[‘key’]

3 Hive语法操作

3.1 Hive CLI(old)

3.1.1 Hive CLI的命令行Option

这个命令行客户端是比较老的命令行启动方式，具体使用如下：

$HIVE_HOME/bin/hive

-d /–define <key=value> ：替换默认的配置参数变量
-e ‘SQL’ ：执行String类型的SQL语句
-i ：初始化SQL文件
-H /–help ：显示帮助信息
-h ：连接到远程的HiveServer
–hiveconf<k=v> --hivevar<k=v> ：修改默认配置
-p ：通过port连接到远程的HiveServer
-S /–silent：以安静的方式执行Hive命令
-v /–verbose：以冗余的形式执行Hive命令
-f ：以文件的形式执行HiveQL语句

-- 演示案例
/bin/hive -S -e select * from a''
--hiveconf hive.exec.scratchdir=/
--hivevar mapred.reduce.tasks=32
> a.txt

-- 执行文件SQL
/bin/hive -f /home/script.sql
/bin/hive -f hdfs://home/script.sql
/bin/hive -f s3://home/script.sql

Hive CLI的Hive command如下

Command	Description
quit exit	退出Hive CLi.
reset	恢复所有参数到默认配置.
set =	替换默认配置的值.
set	打印所有被替换的Hive配置参数信息.
set -v	d
add FILE[S] * add JAR[S] * add ARCHIVE[S] *	添加1到多个file、jar、归档文件到Hive的类路径下，能够被运行时上下文环境访问.
add FILE[S] * add JAR[S] * add ARCHIVE[S] *	As of Hive 1.2.0, adds one or more files, jars or archives to the list of resources in the distributed cache using an Ivy URL of the form ivy://group:module:version?query_string. See Hive Resources below for more information.
list FILE[S] list JAR[S] list ARCHIVE[S]	列出所有被添加到Hive的分布式缓存中的资源 See Hive Resources 查看更多信息.
list FILE[S] * list JAR[S] * list ARCHIVE[S] *	查看给定的资源是否已经被添加到了Hive的分布式缓存中. See Hive Resources 查看更多信息.
delete FILE[S] * delete JAR[S] * delete ARCHIVE[S] *	从hive的分布式缓存中移除相应的资源文件.
delete FILE[S] * delete JAR[S] * delete ARCHIVE[S] *	As of Hive 1.2.0, removes the resource(s) which were added using the from the distributed cache. See Hive Resources below for more information.
!	在Hive Shell中执行一个shell命令，如：!ls /
dfs	Executes a dfs command from the Hive shell.
	执行HiveQL语句，如：set / select /insert /alter /create /use /drop /
source	引入文件.

3.2 Beeline CLI(new)

如何使用新的Beeline CLI?

$HIV{E}_{H}OME/bin/hiveserver2\ast \ast \ast \ast$HIVE_HOME/bin/beeline -u !connect jdbc:hive2://hostname:10000

Beeline的Hive command与Hive CLI的是一模一样的。

3.2.1 Beeline的常用命令行Option

-u ：连接对应的HiveServer2的jdbc_url
-n：用户名
-p：密码
-d：jdbc驱动类
-e：执行SQL语句
-f：执行SQL脚本
-i：初始化SQL脚本
–hiveconf：覆盖默认配置参数
–hivevar：覆盖默认配置参数
–showHeader=true：显示每列的列名
–verbose：冗余形式，控制台打印querySQL语句
–silent：安静执行
–help：显示帮助信息

具体命令行选项可以参考 ：命令行Options