sql left join 去重_SQL优化之使用正确的去重方法

简介： DISTINCT到底该不该使用

作者：丶平凡世界 SQL数据库开发

上一讲我们使用DISTINCT来去掉重复行以提高查询效率，没看过的小伙伴戳这里

《原创 | SQL优化之不查询多余的行和列》(点击下方的了解更多)

这和小伙伴们平常听到的一条优化建议：尽量少使用DISTINCT相悖。下面我们来看看DISTINCT到底该不该使用。如果不想看处理过程的可以直接跳到红色结论部分。

1.使用DISTINCT去掉重复数据
我们重复一下上一讲的例子:

SELECT DISTINCT UnitPriceFROM [Sales].[SalesOrderDetail]WHERE UnitPrice>1000;

执行完之后的结果如下：

接下来，我们将这个表里的数据增大到194万条，再重复上面的实验。

--将表SalesOrderDetail插入到一张物理表中SELECT * INTO Sales.Temp_SalesOrderFROM [Sales].[SalesOrderDetail] ;--通过新增的物理表进行自循环插入3次，将数据增加到1941072行DECLARE @i INT;SET @i=0WHILE @i<4BEGIN--这里没有将SalesOrderDetailID这个自增长的放在列中，是为了让系统自动填充不同的数字进去，保证唯一性。INSERT INTO Sales.Temp_SalesOrder(SalesOrderID,CarrierTrackingNumber,OrderQty,ProductID,SpecialOfferID,UnitPrice,UnitPriceDiscount,LineTotal,rowguid,ModifiedDate)SELECTSalesOrderID,CarrierTrackingNumber,OrderQty,ProductID,SpecialOfferID,UnitPrice,UnitPriceDiscount,LineTotal,NEWID(),ModifiedDateFROM Sales.Temp_SalesOrderSET @i=@i+1;END;SELECT COUNT(1) FROM Sales.Temp_SalesOrder；

(提示：可以左右滑动代码)

将SalesOrderDetailID的自增长属性取消掉之后，插入1000条自身的数据，这样我们就可以得到1000条重复的SalesOrderDetailID，相比1942072条记录占比很小了

如下图，将自增长标识的是换成否后即可插入了。

INSERT INTO sales.Temp_SalesorderSELECT TOP 1000 * FROM sales.Temp_Salesorder；

数据插入完整后，我们在将上一讲的内容重复一下，看看效果如何？

文章进行了部分删减，完整内容请点击下方[了解更多]

关键字：SQL 数据库 索引