在HIVE中,数据块抽样是抽样变得十分简单
```
# 按百分比抽样
SELECT * FROM table_1 TABLESAMPLE (10 PERCENT);
# 按文件大小抽样(10与M之间没有空格)
SELECT * FROM table_1 TABLESAMPLE (10M);
# 按行抽样
# 这里指定的行数,是在每个InputSplit中取样的行数,也就是,每个Map中都取样n ROWS。
SELECT COUNT(1) FROM (SELECT * FROM table_1 TABLESAMPLE (200 ROWS)) t;
#分桶表取样(Sampling Bucketized Table)
SELECT COUNT(1) FROM table_1 TABLESAMPLE (BUCKET 1 OUT OF 10 ON rand());
```
可能出现错误:
Error: Error while compiling statement: FAILED: SemanticException 1:40 Percentage sampling is not supported in org.apache.hadoop.hive.ql.io.HiveInputFormat. Error encountered near token ‘10’ (state=42000,code=40000)
错误原因:
是因为使用tez的优化引擎,所以不支持数据采样
解决办法:
set hive.tez.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
备注:以上方法仅对当前登录有效