Hive SQL语法详解

文章参考博客链接-------Hadoop Hive sql语法详解
文章参考官方文档-------Hive/LanguageManual

---

• hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理
• Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言查询，汇总，分析数据。而mapreduce开发人员可以把己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析。

一、DDL（data definition language）

---

HiveQL DDL包括：

• CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEX
• DROP DATABASE/SCHEMA, TABLE, VIEW, INDEX
• TRUNCATE TABLE
• ALTER DATABASE/SCHEMA, TABLE, VIEW
• MSCK REPAIR TABLE (or ALTER TABLE RECOVER PARTITIONS)
• SHOW DATABASES/SCHEMAS, TABLES, TBLPROPERTIES, VIEWS, PARTITIONS, FUNCTIONS, INDEX[ES], COLUMNS, CREATE TABLE
• DESCRIBE DATABASE/SCHEMA, table_name, view_name

1.建表

---

建表语句如下

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
  [(col_name data_type [COMMENT col_comment], ...)] 
  [COMMENT table_comment] 
  [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
  [CLUSTERED BY (col_name, col_name, ...) 
  [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
  [ROW FORMAT row_format] 
  [STORED AS file_format] 
  [LOCATION hdfs_path]

• CREATE TABLE 创建一个指定名字的表，如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。

• EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION）（外部表在删除时只会删除外部表的元数据不会删除数据）

• LIKE允许用户复制现有的表结构，但是不复制数据

• COMMENT可以为表与字段增加描述

• 表可以包含一个或多个分区列，并为分区列中的每个不同值组合创建单独的数据目录。此外，可以使用CLUSTERED BY列对表或分区进行分区，并且可以通过SORT BY列在该存储桶中对数据进行排序。这可以提高某些类型的查询的性能

• ROW FORMAT 是用来设置创建的表在加载数据的时候，支持的列分隔符

    用户在建表的时候可以自定义 SerDe （序列化/反序列化）或者使用自带的 SerDe。
    如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe。
    在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，
    Hive 通过 SerDe 确定表的具体的列的数据。
  

  这段可参考官网说明Hive—RowFormats&SerDe

• STORED AS（存储为）SEQUENCEFILE | TEXTFILE | RCFILE | ORC | PARQUET | AVRO | JSONFILE
  如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCE 。

2.删表

---

语句及功能如下：

DROP TABLE [IF EXISTS] table_name [PURGE];   //删除表
TRUNCATE TABLE table_name [PARTITION partition_spec];   //从表或分区中删除所有行

3.改变表

---

语句及功能如下：

ALTER TABLE table_name RENAME TO new_table_name;   //重命名表
ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]  //这个命令可以允许改变列名、数据类型、注释、列位置或者它们的任意组合
ALTER TABLE table_name ADD | REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)   //ADD是代表新增一字段，字段位置在所有列后面(partition列前)REPLACE则是表示替换表中所有字段。
ALTER TABLE table_name SET FILEFORMAT file_format    //改变文件格式
ALTER TAB