python去重复的数据_Python移除列表里重复的数据，并保留原来的次序

这有好几种方法实现。

使用set实现def unique_everseen(items):

seen = set()

seen_add = seen.add

return [x for x in items if not (x in seen or seen_add(x))]

函数里把seen.add赋值给seen_add本地变量是出于性能考虑，因为seen会动态变化，如果直接在迭代里调用它会导致python每次都需要对它做检查。

more_itertools内置的unique_everseen函数

安装more_itertoolspip install more_itertools

使用>>> from more_itertools import unique_everseen

>>> items = [1, 2, 0, 1, 3, 2]

>>> list(unique_everseen(items))

[1, 2, 0, 3]

OrderedDict>>> from collections import OrderedDict

>>> items = [1, 2, 0, 1, 3, 2]

>>> list(OrderedDict.fromkeys(items))

[1, 2, 0, 3]