HIVE数据抽样错误

在HIVE中,数据块抽样是抽样变得十分简单

```
# 按百分比抽样
SELECT * FROM table_1 TABLESAMPLE (10 PERCENT);

# 按文件大小抽样(10与M之间没有空格)
SELECT * FROM table_1 TABLESAMPLE (10M);

# 按行抽样
# 这里指定的行数,是在每个InputSplit中取样的行数,也就是,每个Map中都取样n ROWS。
SELECT COUNT(1) FROM (SELECT * FROM table_1 TABLESAMPLE (200 ROWS)) t;

#分桶表取样(Sampling Bucketized Table)
SELECT COUNT(1) FROM table_1 TABLESAMPLE (BUCKET 1 OUT OF 10 ON rand());
```

可能出现错误:

Error: Error while compiling statement: FAILED: SemanticException 1:40 Percentage sampling is not supported in org.apache.hadoop.hive.ql.io.HiveInputFormat. Error encountered near token ‘10’ (state=42000,code=40000)

错误原因:
是因为使用tez的优化引擎,所以不支持数据采样

解决办法:

set hive.tez.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

备注:以上方法仅对当前登录有效

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值