前几天在群里见一朋友问一题目,据说是微软一朋友出的,剔除一张四亿条记录的表里面的重复数据。我的第一想法就是先分区,然后直接去重,合并。分区与合并暂时不觉得有问题,只是在去重代码上有争议,后来将我知道的三种方法测试了下,group_by效率最高,Distinct和Partition_by效率是前面的一半,因为后两者有排序开消,一般人都习惯用distinct,省事,不过作为做etl的人来说效率还是最重要的,也许有其他方法,不管效率如何,希望看到的朋友能够一起分享。
Sql去重方法
最新推荐文章于 2024-01-22 10:52:17 发布