hive 学习系列六 hive 去重办法的思考

hive 专栏收录该内容
9 篇文章 1 订阅

方法1,建立临时表,利用hive的collect_set 进行去重。

create table if not exists tubutest (
    name1 string,
    name2 string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;


select * from ods.wdtest;
1	1
1	1
1	2
1	2
1	3
2	3
2	3
2	4


select name1,collect_set(name2) from tubutest group by name1;  
name1	_c1
1	["2","3"]
2	["2","4"]

create view ods.wdtestView as
select name1,collect_set(name2) as name2 from ods.wdtest  group by name1;

select * from ods.wdtestview;
name1	name2
1	["2","3"]
2	["2","4"]

select name1, name2 from tubuview  LATERAL VIEW explode(name2) tubuview as name2;

A,collect_set 完成把多行转化成一行的功能。 
B,explode 完成把一行转化成多列的功能。 而 lateral view 主要是辅助 explode 进行使用,来完成类似去重的功能。

2,方法2, 利用row_number 去重

比如,我有一大堆的表格,


表格内容大多类似,只是有些许差别。
现在的需求是把我要统计所有的表格中,都有哪些字段,也就是把所有的表格整合成一张大表
则可以利用row_number 进行去重

最终的表格如下:

需要进行去重,
则可以利用row_number 进行去重(去虫),方法如下

SELECT 
    name,
    type_name,
    comment_deatail
from 
    (SELECT 
    name,type_name,comment_deatail,
    row_number() OVER(PARTITION BY name ORDER BY type_name) as row_count
     from demo) t
where row_count=1;
  • 0
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值