python列表常见去重方法

列表去重在python实际运用中，十分常见，也是最基础的重点知识。

1. 使用for循环实现列表去重

此方法去重后，原顺序保持不变。

# for循环实现列表去重
list1 = ['a', 4, 6, 4, 'b', 'hello', 'hello', 'world', 9, 9, 4, 'a']
list2 = []
for l1 in list1:
    if l1 not in list2:
        list2.append(l1)
print(list2)

结果：['a', 4, 6, 'b', 'hello', 'world', 9]

2. 使用列表推导式去重

此方法去重后，原顺序保持不变。

# 使用列表推导式去重
list1 = ['a', 4, 6, 4, 'b', 'hello', 'hello', 'world', 9, 9, 4, 'a']
res = []
[res.append(i) for i in list1 if i not in res]
print(res)

结果：['a', 4, 6, 'b', 'hello', 'world', 9]

3. 使用集合转换函数set()实现列表去重

原理：同一个集合的元素之间是不允许重复的，但是结果不能保证顺序性

# set()列表去重
list1 = ['a', 4, 6, 4, 'b', 'hello', 'hello', 'world', 9, 9, 4, 'a']
list2 = list(set(list1))
print(list2)

结果：['world', 'b', 4, 6, 9, 'hello', 'a']  

如果想保持顺序性有2种办法：

第一种方法，使用sort()方法

# # 第一种方法，sort()
list1 = ['a', 4, 6, 4, 'b', 'hello', 'hello', 'world', 9, 9, 4, 'a']
list2 = list(set(list1))
list2.sort(key=list1.index)
print(list2)

注：sort()方法没有返回值，对列表元素进行原地排序

第二种方法，使用sorted()函数

# 第二种方法，sored()
list1 = ['a', 4, 6, 4, 'b', 'hello', 'hello', 'world', 9, 9, 4, 'a']
list2 = sorted(list(set(list1)), key=list1.index)
print(list2)

注：python内置函数sorted()函数返回新的列表，并不对原列表做任何修改

4. 使用新建字典方式实现列表去重

原理：字典的"键"是不允许重复的

此方法去重后，原来顺序保持不变。

# 使用新建字典实现列表去重
list1 = ['a', 4, 6, 4, 'b', 'hello', 'hello', 'world', 9, 9, 4, 'a']
dic = {}
dic = dic.fromkeys(list1).keys()
print(list(dic))

结果：['a', 4, 6, 'b', 'hello', 'world', 9]

5. 删除列表中存在重复的数据（不是去重，是把重复数据全部删除）

上面的4种去重方法，都是保留一个，删除其他

下面这种方法则是，只要存在重复，一个都不保留

# 删除存在重复的值，不保留
list1 = ['a', 4, 6, 4, 'b', 'hello', 'hello', 'world', 9, 9, 4, 'a']
list2 = [i for i in list1 if list1.count(i) == 1]
print(list2)

结果：[6, 'b', 'world']