Python列表去重方法

方法一：使用内置set方法来去重

>>> lst1=[2,3,41,2,4,3,4]
>>> lst2=list(set(lst1))
>>> print(lst2)
[41, 2, 3, 4]

方法二：使用字典中fromkeys()的方法来去重

>>> lst1=[2,3,41,2,4,3,4]
>>> lst2={}.fromkeys(lst1).keys()
>>> print(lst2)
dict_keys([2, 3, 41, 4])

方法三：使用常规方法来去重

[root@localhost ~]# cat listuniq.py 
lst1 = [2,3,41,2,4,3,4]
temp = []
for item in lst1:
    if not item in temp:
        temp.append(item)    
print(temp)

[root@localhost ~]# python listuniq.py 
[2, 3, 41, 4]

方法四: 使用列表推导来去重

>>> lst1=[2,3,41,2,4,3,4]
>>> temp = []
>>> [temp.append(i) for i in lst1 if not i in temp]
[None, None, None, None]
>>> print(temp)
[2, 3, 41, 4]

方法五: 使用sorted函数来去重

>>> lst1=[2,3,41,2,4,3,4]
>>> lst2 = sorted(set(lst1), key=lst1.index)
>>> print(lst2)
[2, 3, 41, 4]

备注： 前面的几种方法，有几种是不能保证其顺序的，比如用set（）函数来处理！

如果要删除列表列表中的重复项，则同样可以用下面的几种方法来处理

>>> # 方法一:
>>> data = [2, 1, 3, 4, 1]
>>> [item for item in data if data.count(item) == 1]
[2, 3, 4]
>>> # 方法二:
>>> data = [2, 1, 3, 4, 1]
>>> list(filter(lambda x:data.count(x) == 1, data))
[2, 3, 4]