TERADATA group by和distinct去重比较

重复记录多选择group by，重复记录少选择distinct：

因为teradata中group by的机制是先在每个amp执行group by操作，然后执行总的group by操作，这样重复的数据就会在重分布前被过滤掉，并且如果每个重复的数据量多，需要进行重分布的量就会大大减少，从而大幅度提高性能。 反之，由于group by需要两次排重操作，如果重复的数据很少，性能就会很差。相反，由于distinct仅在重分布之后进行排重操作，因此适合于重复量很少的去重操作。

测试：在一个有5.3亿条记录的表中，有重复记录大概8.5万条，重复率不算很高。同样的语句group by 用了41分钟，distinct只用了30分钟，明显distinct更快。对于重复率高的，就没有做测试比较，理论上group by快应该不会假的。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/9999499/viewspace-615358/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/9999499/viewspace-615358/