python列表去重

在Python中，列表去重是一个常见的操作，有多种方法可以实现。以下是几种常用的去重方法：

1. 使用集合（Set）

集合（Set）是一个无序的不重复元素集，所以可以利用集合的这个特性来去重。但是，需要注意的是，集合不保留元素的顺序，且集合中的元素必须是可哈希的（即不可变类型，如整数、浮点数、字符串、元组等）。

my_list = [1, 2, 2, 3, 4, 4, 5]
my_set = set(my_list)
my_list_unique = list(my_set)
print(my_list_unique)  # 输出: [1, 2, 3, 4, 5]，但顺序可能不同

2. 使用列表推导式 + in 关键字

这种方法会遍历原列表，对于每个元素，检查它是否已经存在于结果列表中。如果不存在，则添加到结果列表中。但这种方法的时间复杂度较高（O(n^2)），在列表较大时不推荐使用。

my_list = [1, 2, 2, 3, 4, 4, 5]
my_list_unique = [x for x in my_list if x not in my_list[:x]]
# 注意：上面的方法并不总是有效，因为它依赖于元素值的顺序和可比较性
# 更正确的做法是使用一个辅助集合来跟踪已见过的元素
seen = set()
my_list_unique = [x for x in my_list if not (x in seen or seen.add(x))]
print(my_list_unique)  # 输出: [1, 2, 3, 4, 5]，但顺序可能不同
# 注意：由于seen.add(x)没有返回值（返回None），且`not`运算符会短路，这种方法实际上是有效的

3. 使用OrderedDict（Python 3.7+ 中字典已保持插入顺序）

从Python 3.7开始，字典保持插入顺序，这意味着我们可以使用collections.OrderedDict（但在Python 3.7+中，直接使用dict即可）来保持元素的顺序，同时去重。

from collections import OrderedDict

my_list = [1, 2, 2, 3, 4, 4, 5]
my_list_unique = list(OrderedDict.fromkeys(my_list))
print(my_list_unique)  # 输出: [1, 2, 3, 4, 5]，保持原顺序

4. 使用dict.fromkeys()（Python 3.7+）

与OrderedDict.fromkeys()类似，但直接利用Python 3.7+中字典的插入顺序特性。

my_list = [1, 2, 2, 3, 4, 4, 5]
my_list_unique = list(dict.fromkeys(my_list))
print(my_list_unique)  # 输出: [1, 2, 3, 4, 5]，保持原顺序（Python 3.7+）

总结

对于大多数去重需求，使用集合（set）是最简单直接的方法，但如果你需要保持元素的原始顺序，那么OrderedDict.fromkeys()（或在Python 3.7+中直接使用dict.fromkeys()）会是更好的选择。列表推导式虽然灵活，但在处理大数据集时可能不够高效。