Hive的shell命令以及HQL

最新推荐文章于 2022-09-18 16:21:36 发布

Zzreal

最新推荐文章于 2022-09-18 16:21:36 发布

阅读量4.6k

点赞数

分类专栏： hive

本文链接：https://blog.csdn.net/Zonzereal/article/details/78586439

版权

hive 专栏收录该内容

10 篇文章 1 订阅

订阅专栏

Hive的shell命令以及HQL

1、CLI

①hive----直接进入hive命令行界面，在hive命令行界面可以使用以下命令：

exit;/quit; -->都是退出hive

reset； -->重置hive配置。主要是针对set和hive --hiveconf的

set （name）=（value）; -->set命令，用来更改hive-site.xml中的配置，name和value对应hive-site.xml中的<name>和<value>。使之后的hql都使用此配置。但是只是本次生效

add file -->它主要是为自定义udf服务的

list file[s] -->列出你的已经add的file

hive -e '!ls' -->!是使你在hiveCLI里面使用Linux的command

hive -e 'dfs -ls /' -->dfs命令，可以使你在hiveCLI中使用Hadoop的dfs命令

②hive 【参数】

-d,--define <key=value> 定义一个变量值，这个变量可以在Hive交互Shell中引用，比如：-d A=B 那么在shell中可以使用${A}来引用B

-e <直接跟hql语句> ----不进入hive就可以执行hql语句并且得到结果

-f <文件路径，文件中有hql语句> ----执行文件中的hql语句，不进入hive但能得到结果

-H,----帮助

--hiveconf <property=value> 在命令行中设置Hive的运行时配置参数，优先级高于hive-site.xml,但低于Hive交互Shell中使用Set命令设置。仅本次生效

--hivevar <key=value> 作用同hive -d

-i <filename> 进入Hive交互Shell时候先执行filename中的HQL语句

-p <port> Connecting 连接远程Hive Server的端口号

-S,--silent 静默模式，指定后不显示执行进度信息，最后只显示结果

-v,--verbose 冗余模式，额外打印出执行的HQL语句

2、DDL

1）对库的操作---Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间

简单语句如下：

①创建库--create database [if not exists]库名；

②删除库--drop database [if exists]库名；

③修改库--alter database 库名 set dbproperties (列名=列值, ...);

④使用库--use 库名；

⑤查看所有数据库--show databases [like ‘h.*’]; 查看数据库可以使用正则表达式(like/rlike)

更加详细的语句：

Create Database创建数据库：

CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] db_name [COMMENT db_comment]
                                                                                          ------数据库描述
                         [LOCATION hdfs_path]         
                                                                            ------数据库在hdfs上的存储路径
                         [WITH DBPROPERTIES (property_name=property_value, ...)];
                                                                                    ------设置数据库的配置

Drop Database删除数据库：

DROP (DATABASE|SCHEMA) [IF EXISTS] db_name [RESTRICT|CASCADE];
                      --默认为RESTRICT，数据库不为空会删除失败；如果要连库内的表一起删除，使用参数CASCADE

Alter Database修改数据库：

ALTER (DATABASE|SCHEMA) db_name SET DBPROPERTIES (property_name=property_value,...);
                                                                                          ------修改配置
ALTER (DATABASE|SCHEMA) db_name SET OWNER [USER|ROLE] user_or_role;
                                                                                        ------修改所有者

2）对表的操作

①创建表

最简单的建表语句如下，内容缺一不可：

create table [if not exists] 表名 [ (列值1 列类型1，列值2 列类型2...) ] row format delimited fields terminated by ',';

更详细的建表语句：

CREATE [TEMPORARY(临时表)] [EXTERNAL(外部表)] TABLE [IF NOT EXISTS] [(创建在非当前数据库中)db_name.]table_name
                [(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
                                                                            ------定义列名，列类型，列描述
                [COMMENT table_comment]
                                                                                           ------表描述
                [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]  
                                          ----分区依据（静态分区，列名=列值（列出所有可能情况）动态分区（列名））
                [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] 
INTO num_buckets BUCKETS]
                                               ------分桶（根据列值的hash值除以桶数目的余数来放到各个桶中）
                [SKEWED BY (col_name, col_name, ...)]
                                                                                     ------防止数据倾斜
                ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
                [ [ ROW FORMAT row_format ] [ STORED AS file_format ]| STORED BY 'storage.handler.class.name' 
[WITH SERDEPROPERTIES (...) ] ]
                                                                                   ------行的切分方式
                [LOCATION hdfs_path]
                                                                                 ------在hdfs上的存储路径
                [TBLPROPERTIES (property_name=property_value, ...)]
                                                                                           ------表的设置
                [AS select_statement]
                                                                     ------将查询结果作为一个新的表存储
                        FIELDS TERMINATED BY ','  //指定每行中字段分隔符为逗号
                        LINES TERMINATED BY '\n' //指定行分隔符
                        COLLECTION ITEMS TERMINATED BY ',' //指定集合中元素之间的分隔符
                        MAP KEYS TERMINATED BY ':' //指定数据中Map类型的Key与Value之间的分隔符
        CREATE TABLE empty_key_value_store LIKE key_value_store;
                                                                    ------创建与已知表结构相同的空白表

★存储格式

STORED AS fileformat| STORED BY classname

TEXTFILE（默认格式）

★内部表和外部表

内部表在load时文件会mv到/hive/warehouse/库/表/ 路径下，在drop和trumcate时文件会被删除；外部表load时文件被cp到/hive/warehouse/库/表/ 路径下，在drop时只会删除元数据，原文件以及/hive/warehouse/库/表/ 路径下的文件仍会保留，如果需要删除这些文件需要使用hdfs命令来删除。

★分区表---对全表扫描进行优化

分区表PARTITIONED BY (part1,part2)----part1为主分区，后面的是副分区

静态分区------列名=列值,...(列出所有可能的情况，其余行放在另一个分区)

动态分区------列名（按列值自动分区）

需要注意的是，分区字段不能存在于tableName(...)里面。分区表建立好之后，查询某个分区，只是查询这个分区的数据，不会产生全表扫描。

分区相关的配置：

hive.exec.dynamic.partition

开启动态分区,默认值true

hive.exec.dynamic.partition.mode

默认值strict，Strict模式下，必须指定一个静态分区，想完全开启动态分区，设置为none

hive.exec.max.dynamic.partitions.pernode

mapper/reducer节点允许开启的最大分区数，默认100