13分桶以及抽样查询

一、分桶表数据存储

	分区针对的是数据的存储路径；分桶针对的是数据文件
		分区提供一个隔离数据和优化查询的便利方式。
	分桶是将数据集分解成更容易管理的若干部分的另一个技术。

1.先创建分桶表，通过直接导入数据文件的方式

(1)创建分桶表
	create table stu_buck(id int,name string)
	clustered by(id)
	into 4 buckets
	row format delimited fields terminated by '\t';
	
(2)查看表结构
	desc formatted stu_buck;
	
(3)导入数据到分桶表中
	load data local inpath '/root/hivedata/student.txt' into table stu;

(4)查看创建的分桶表中是否分成4个桶
	在浏览器"node01:50070"的"/user/hive/warehouse/stu_buck"目录下

(5)没有分成4个桶，是什么原因？

2.创建分桶表时，数据通过子查询的方式导入

(1)先建一个普通的stu表
	create table stu(id int, name string)
	row format delimited fields terminated by '\t';

(2)向普通的stu表中导入数据
	load data local inpath '/root/hivedata/student.txt' into table stu;

(3)清空stu_buck表中数据
	truncate table stu_buck;
	select * from stu_buck;
			
(4)导入数据到分桶表，通过子查询的方式
	insert into table stu_buck select id,name from stu;

(5)但是发现还是只有一个分桶

(6)需要设置一个属性
	set hive.enforce.bucketing=true;
	set mapreduce.job.reduces=-1;
	truncate table stu_buck;
	insert into table stu_buck select id,name from stu;
		这样就会出现四个分桶啦。

(7)查询分桶的数据
	select * from stu_buck;

二、分桶抽样查询

	对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。
	Hive可以通过对表进行抽样来满足这个需求。查询表stu_buck中的数据。

2.实例

	select * from stu_buck tablesample(bucket 1 out of 4 on id);
		分成四个桶，取出一个桶的内容

实例注释
	tablesample是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y)
	y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。
		例如，table总共分了4份，当y=2时，抽取(4/2=)2个bucket的数据，
			当y=8时，抽取(4/8=)1/2个bucket的数据。
	x表示从哪个bucket开始抽取，如果需要取多个分区，以后的分区号为当前分区号加上y。
		例如，table总bucket数为4，tablesample(bucket 1 out of 2)，表示总共
			抽取（4/2=）2个bucket的数据，抽取第1(x)个和第3(x+y)个bucket的数据。

实例注意
	注意：x的值必须小于等于y的值，否则
	FAILED: SemanticException [Error 10061]: Numerator should not be bigger than denominator in sample clause for table stu_buck