hadoop生态--Hive（3）--内部表、外部表、分区表、桶表

参考：

https://blog.csdn.net/jenrey/article/details/80588493

一、内部表和外部表

创建表时，未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）； 

内部表(MANAGED_TABLE)：表目录按照hive的规范来部署，位于hive的仓库目录/user/hive/warehouse中

外部表(EXTERNAL_TABLE)：表目录由建表用户自己指定

create external table t_access(ip string,url string,access_time string)

row format delimited

fields terminated by ','

location '/access/log';

外部表和内部表的特性差别：

1、内部表的目录在hive的仓库目录中 VS 外部表的目录由用户指定

2、drop一个内部表时：hive会清除相关元数据，并删除表数据目录

3、drop一个外部表时：hive只会清除相关元数据，HDFS上的数据不会被删除；

 4、对内部表的修改会将修改直接同步给元数据，而对外部表的表结构和分区进行修改，则需要修复（MSCK REPAIR TABLE table_name;）

 一个hive的数据仓库，最底层的表，一定是来自于外部系统，为了不影响外部系统的工作逻辑，在hive中可建external表来映射这些外部系统产生的数据目录；

然后，后续的etl操作，产生的各种表建议用managed_table

二、分区表

create table t_pv_log(ip string,url string,access_time string)
partitioned by(day string)
row format delimited fields terminated by ','

分区表是按照数据表的某列或某些列分为多个分区。分区表是从目录层面上对数据进行过滤。

分区表的实质：在表目录中为数据文件创建分区子目录，这样在查询的时候MR程序就可以针对分区子目录中的数据进行处理，减少读取数据的范围。例如，统计每日pv的时候，可以只读取当日数据。这时将表建为分区表，将每天的日志数据分别存放。

比如，网站每天产生的浏览记录，浏览记录应该建一个表来存放，但是，有时候，我们可能只需要对某一天的浏览记录进行分析，这时，就可以将这个表建为分区表，每天的数据导入其中的一个分区；当然，每日的分区目录，应该有一个目录名（分区字段）

分区表要注意以下几点：

1、创建分区表的时候，要通过关键字 partitioned by （name  string）声明该表是分区表，并且是按照字段name进行分区，name值一致的所有记录存放在一个分区中，分区属性name的类型是string类型。当然，可以依据多个列进行分区，即对某个分区的数据按照某些列继续分区。分区字段不能和表中已定义字段冲突。

2、向分区表导入数据的时候，要通过关键字partition（name=“jack”）显示声明数据要导入到表的哪个分区，这里表示要将数据导入到分区为name=jack的分区。

3、所谓分区，这是将满足某些条件的记录打包，做个记号，在查询时提高效率，相当于按文件夹对文件进行分类，文件夹名可类比分区字段。这个分区字段形式上存在于数据表中，在查询时会显示到客户端上，但并不真正在存储在数据表文件中，是所谓伪列。所以，千万不要以为是对属性表中真正存在的列按照属性值的异同进行分区。比如上面的分区依据的列name并不真正的存在于数据表中，是我们为了方便管理添加的一个伪列，这个列的值也是我们人为规定的，不是从数据表中读取之后根据值的不同将其分区。我们并不能按照某个数据表中真实存在的列，如userid来分区。

2-1 一个分区字段的实例：

示例如下：

1、创建带分区的表

create table t_access(ip string,url string,access_time string)
partitioned by(dt string)
row format delimited
fields terminated by ',';

 注意：分区字段不能是表定义中的已存在字段

显示分区

    //显式表的分区信息
    $hive>SHOW PARTITIONS t3;

添加分区;

    //添加分区,创建目录
    $hive>alter table t3 add partition (year=2014, month=12);

删除分区

    //删除分区
    hive>ALTER TABLE employee_partitioned DROP IF EXISTS PARTITION (year=2014, month=11);

2、向分区中导入数据

load data local inpath '/root/access.log.2017-08-04.log' into table t_access partition(dt='20170804');

load data local inpath '/root/access.log.2017-08-05.log' into table t_access partition(dt='20170805');

 注意这里的local是针对hive服务运行机器而言的。

3、针对分区数据进行查询

a、统计8月4号的总PV：

select count(*) from t_access where dt='20170804';

实质：就是将分区字段当成表字段来用，就可以使用where子句指定分区了

b、统计表中所有数据总的PV：

select count(*) from t_access;

实质：不指定分区条件即可

2-2 多个分区字段示例

1、建表：

create table t_partition(id int,name string,age int)
partitioned by(department string,sex string,howold int)
row format delimited fields terminated by ',';

2、导数据：

load data local inpath '/root/p1.dat' into table t_partition partition(department='xiangsheng',sex='male',howold=20);

三、桶表

分桶是相对分区进行更细粒度的划分。分桶将整个数据内容安装某列属性值得hash值进行区分。分桶是依据数据表中真实的列而不是伪列（所以在指定列时不需要声明列的类型）。桶表是从存储文件的层面上进行过滤。

桶表的数量如何设置?
评估数据量，保证每个桶的数据量是block的2倍大小。

3-1  创建按照id分桶的表

分桶之前要执行命令 hive.enforce.bucketiong=true; 

//创建桶表
$hive>CREATE TABLE t4(id int,name string,age int) 
clustered by  (id) into 3 buckets 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;

 3-2 向桶中插入数据

用load加载数据到桶表不会进行分桶。可以查询其它表加载到表，会按照桶表进行hash，存储到不同文件中。

//查询t3表数据插入到t4中。
$hive>insert into t4 select id,name,age from t3 ;

hive是不支持删除的，如果删除，需要从dfs删除。

3-3 查看桶信息

dfs -ls /user/hive/warehouse/t_test;

3-4 查看桶数据

select * 
from t_test
tablesample(bucket 1 out of on id);

对数据表分区后可以继续分桶：

create table logs(ts bigint, line string)
partitioned by(dt string, country string)
clustered by (ts) sorted by (ts asc) into 4 bunckets
row format delimited fields terminated by '\t';

 

转载于:https://www.cnblogs.com/Jing-Wang/p/10904924.html