hive表数据按照手机号去除重复，每个手机号只保留一条记录

最新推荐文章于 2024-01-05 13:11:38 发布

技匠三石弟弟

最新推荐文章于 2024-01-05 13:11:38 发布

阅读量1.5k

点赞数

分类专栏：数据开发文章标签： hive sql

本文链接：https://blog.csdn.net/xiaoleilei666/article/details/114791200

版权

21 篇文章 0 订阅

订阅专栏

一、简要介绍

mdn	imei	imsi	vprovId
1064948930129	8670120344055714	460111128580323	123
1064948930129	8670120344055714	460111128580323	123
1064948605404	8666660207679900	460110662972417	234

二、HSQL编写思路

使用ROW_NUMBER() OVER函数的基本用法
语法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)
简单的说row_number()从1开始，为每一个分组记录返回一个数字，这里的ROW_NUMBER() OVER (ORDER BY visit_province_id asc) 是先把visit_province_id列升序，再为升序以后的每条mdn记录返回一个序号。

三、HSQL书写

select *
from(
     select *,row_number() over (partition by mdn order by vprovId asc ) num from aa_country_analysis
    ) t
where t.num=1;

先通过row_number()函数按照手机号进行分组，组内按照省份id进行升序，然后组内相同mdn记录从1开始编号…n。然后最后每个mdn分组下只保留第一条记录。

mdn	imei	imsi	vprovId
1064948930129	8670120344055714	460111128580323	123
1064948605404	8666660207679900	460110662972417	234

关注