大数据量总是离不开数据去重,去重分为几种类型,有些是部分字段相同,有些是全部字段相同,那么应该如何做到高效去除重复呢?
小编在这里简单介绍两种去重方式,一种是Sql语句去重,一种是Linq语句去重,其实原理很像,只不过用的方式不太一样而已。
Sql语句去重
假设现在有一个表名为People,里面有三个字段,id、name、age。另外一个表名为Department,有三个字段为id、name、peopleId。
1、单表查询,查询People表中所有不同的年龄
<span style="font-family:KaiTi_GB2312;font-size:18px;"><span style="font-family:KaiTi_GB2312;font-size:18px;">select distinct age from People</span></span>
假如表中的年龄为23、24、23、25、2