Hive基础（一）

1.Hive是什么

       Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

2.Hive架构
       

     用户接口: Shell/CLI,CLI（Command Line Interface），Shell 终端命令行，采用交互形式使用 Hive 命令行与 Hive 进行交互。Cli 启动的时候，会同时启动一个 Hive 副本。JDBC/ODBC客户端是Hive的JAVA实现，与传统数据库JDBC类似。Web UI通过浏览器访问hive。主要用来将我们的sql语句提交给hive。

     Thrift服务器：Thrift 是 Facebook 开发的一个软件框架，可以用来进行可扩展且跨语言的服务的开发， Hive 集成了该服务，能让不同的编程语言调用 Hive 的接口。

     元数据库: 存储在 Hive 中的数据的描述信息。Hive 将元数据存储在数据库中，如 mysql、（默认）derby。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表 等），表的数据所在目录等。

     解释器包含编译器、优化器、执行器:完成HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。。编译器：主要将sql语句编译成一个MR的任务。优化器：主要是对我们的sql语句进行优化。执行器：提交mr任务，进行执行。

     Hive 的数据存储在 HDFS 中，查询计划被转化为 MapReduce 任务，在 Hadoop 中执行.

3.Hive的数据存储

     Hive的所有数据都存储在Hdfs中，没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive 中的表，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile）。

Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket:
 db：在hdfs中表现为{hive.metastore.warehouse.dir}目录下一个文件夹.${hive.metastore.warehouse.dir}是在配置文件中定义的数据仓库位置
 table：在hdfs中表现所属db目录下一个文件夹
 external table：与table类似，不过其数据存放位置可以在任意指定路径
 partition：在hdfs中表现为table目录下的子目录
 bucket：在hdfs中表现为同一个表目录下根据hash散列之后的多个文件

4.Hive的基本操作

4.1 操作数据库：

           创建数据库： create database if not exists 数据库名；
   创建数据库并指定hdfs存储位置： create database 数据库名 location ‘位置’;
   查看有哪些数据库： show databases;
   修改数据库的信息（数据库的元数据信息是不可更改的，包括数据库的名称以及数据库所在的位置）：alter database 数据库名 set dbproperties（）
   查看数据库的信息：desc database 数据库名；
   查询详细数据库信息：desc database extended 数据库名；
   删除数据库（删除一个空数据库，如果数据库下面有数据表，那么就会报错）：drop database 数据库名；
   强制删除数据库（包含数据库下面的表一起删除）：drop database myhive cascade;

4.2 操作数据库表：

  4.2.1创建数据库表语法:

                  CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
                  [(col_name data_type [COMMENT col_comment], …)]
                  [COMMENT table_comment]
                  [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]
                  [CLUSTERED BY (col_name, col_name, …)
                  [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
                  [ROW FORMAT row_format]
                  [STORED AS file_format]
                  [LOCATION hdfs_path]

说明：
1、 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。

2、 EXTERNAL关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。

3、 LIKE 允许用户复制现有的表结构，但是不复制数据。

4、 ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)]
用户在建表的时候可以自定义 字段的分隔符 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，Hive通过 SerDe 确定表的具体的列的数据。

5、 STORED AS SEQUENCEFILE|TEXTFILE|RCFILE
如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCEFILE。

6、PARTITIONED BY
分区指的是在创建表时指定的partition的分区空间。一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。partition就是辅助查询，缩小查询范围，加快数据的检索速度和对数据按照一定的规格和条件进行管理。

7、CLUSTERED BY
对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表（或者分区）组织成桶（Bucket