Hive学习

分布式数据仓库Hive

Hive的数据存储模型

在Hive中使用了4中主要的数据存储模型：表（Table）、外部表(External Table)、分区(Partition)、桶(Bucket).

表

1. Hive表逻辑上由两部分组成：第一部分为真实数据。第二部分为母爱书表格中数据形式的元数据。
2. 在物理实现上，Hive的每个表的数据存储在HDFS目录下，二描述表格中数据形式的元数据存储在关系型数据库中
3. Hive表在HDFS中有固定的位置，例如，一个表名为“students”的数据表创建后将在HDFS中有一个对应的文件路径“/home/hive/warehouse/students”,其中 ,”/home/hive/warehouse”是用户在HDFS中的hive-site.xml配置文件中配置参数${hive.matastore.warehouse.dir}所设置的一个数据仓库根目录。

外部表

1. 创建时需使用关键字External声明，例如：create external table logs(timestamp BIGINT,line STRING)
2. 外部表和普通表的区别在于load和drop指令的本质上

分区

1. 建分区需要在创建表时通过PARTITION BY字句指定，例如，
   create table logs(timestamp BIGINT,line STRING)
   PRTTITION BY(date BIGINT,country STRING)

桶（bucket）

1. 创建带有桶的表的语句
   create table bucketed_users(id INT,name STRING)
   CLUSTERED BY (id) INTO 4 BUCKETS;

Hive查询语言——HiveQL

主要支持以下几类操作：

1. DDL:数据定义语句，包括create,alter,show,describe,drop等
2. DDM：数据操作语句，包括load data,insert(将查询结果写入Hive表或文件系统中)。Hive的操作没有考虑update操作
3. QUERY：数据查询语句，主要是select语句