Hive--数据抽样的常用三种方法(随机/数据块/分桶)

1、随机抽样(rand()函数)

方法一:order by与rand函数结合

limit关键字限制抽样返回的数据
案例:order by 全局排序耗时长

select * 
from app.table_name 
order by rand() 
limit 100;

方法二:distribute和sort与rand函数结合

limit关键字限制抽样返回的数据
案例:rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的

select * 
from app.table_name
where datekey='2020-11-26' 
distribute by rand() sort by rand() 
limit 100;  

2、数据块抽样(tablesample()函数)

百分比(percent)

  • 语法:tablesample(n percent)
  • 功能:根据hive表数据的大小按比例抽取数据。如:抽取原hive表中10%的数据
  • 案例:
    指定where条件可能会报错哦,推荐最好还是不要加where为好
select * 
from dwd.hr_employee 
tablesample(10 percent);

大小(m)

  • 语法:tablesample(n M)
  • 功能:指定抽样数据的大小,单位为M。

行数(rows)

  • 语法:tablesample(n rows)
  • 功能:指定抽样数据的行数,其中n代表每个map任务均取n行数据,map数量可通过hive表的简单查询语句确认(关键词:number of mappers: x)
  • 案例:
    不指定where条件,用时374ms
select * 
from dwd.hr_employee 
tablesample(5 rows) ;
namegender
吴**F
张**F
孙**M
林**F
李**M

指定where条件,用时36s,而且可以看出是tablesample函数是在where条件之前生效的~

select * 
from dwd.hr_employee 
tablesample(5 rows) 
where gender='F';
namegender
吴**F
张**F
林**F

3、分桶抽样

hive中分桶其实就是根据某一个字段Hash取模,放入指定数据的桶中,比如将表table_1按照ID分成100个桶,其算法是hash(id) % 100,这样,hash(id) % 100 = 0的数据被放到第一个桶中,hash(id) % 100 = 1的记录被放到第二个桶中。创建分桶表的关键语句为:CLUSTER BY语句。
分桶抽样语法:

  • 语法:TABLESAMPLE (BUCKET x OUT OF y [ON colname])
  • 功能:分桶抽样,其中x是要抽样的桶编号,桶编号从1开始,colname表示抽样的列,y表示桶的数量。
  • 案例:
select * 
from table_01 
tablesample(bucket 1 out of 10 on rand())
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值