[Hive]Hive实现抽样查询

对于非常大的数据集，有时用户需要使用的知识一个具有代表性的查询结果，而不是全部结果。Hive可以通过对表进行分桶抽样来满足这个需求。

1、分桶抽样查询

select * from numbers TABLESAMPLE(BUCKET 3 OUT OF 10 ON number) s;

其中tablesample是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y) 。y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。例如，table总共分了64份，当y=32时，抽取(64/32=)2个bucket的数据，当y=128时，抽取(64/128=)1/2个bucket的数据。x表示从哪个bucket开始抽取。例如，table总bucket数为32，tablesample(bucket 3 out of 16)，表示总共抽取（32/16=）2个bucket的数据，分别为第3个bucket和第（3+16=）19个bucket的数据。

2、数据块抽样

Hive提供了另外一种按照抽样百分比进行抽样的方式，这种是基于行数的，按照输入路径下的数据块百分比进行抽样。

select * from numbersflat TABLESAMPLE(0.1 PERCENT) s；

这种抽样方式不一定适用于所有的文件格式。另外抽样的最小抽样单元是一个HDFS数据块。如果标的数据大小小于普通的块大小128MB，那么会返回所有的行。