数据去重的各种方法汇总（一）

这几天多次遇到数据去重的问题，所以打算整理一下几种不同类型的数据去重的方法（这里主要汇总Python列表、字典、Excel、数据库的MySQL以及Pandas的Dataframe），暂不更新Leetcode数据库的题解。

• Python列表、字典去重

1. 看下面这个例子和第一种解法set()：

a = [5, 6, 2, 2, 1, 2, 3,  3, 6, 9, 9]

print(list(set(a)))
#下面是运行后的结果
>>>>>[1, 2, 3, 5, 6, 9]

使用set方法应该是列表去重最简单高效的方法，它利用了集合中的元素不能重复的特性，即唯一性 这个特点来对列表去重，但是打乱了原始列表的顺序！

2. 第二种解法，使用Python内置模块itertools的groupby方法，也不会保留原列表的顺序:

import itertools

a = [5, 6, 2, 2, 1, 2, 3,  3, 6, 9, 9]
a.sort()
b = itertools.groupby(a)
p