python从序列中去重且保持元素间顺序不变

如果序列中的值是可哈希的，那么可以直接用下面的方法：

如果不知道是不是可哈希的可以这样判断: isinstance(对象,Hashable)

def dedupe(items):
    seen = set()
    for item in items:
        if item not in seen:
            yield item
            seen.add(item)
list(dedupe([random.randint(0,100) for k in range(1000)]))

不算函数一句话就搞定啦，真的很方便

如果是不可哈希对象的话，就用下面的:

def dedupe(items, key=None):
    seen = set()
    for item in items:
        val = item if key is None else key(item)
        if val not in seen:
            yield item
            seen.add(val)

key的作用是指定一个函数用来将序列中的元素转换为可哈希的类型.

举个例子：

a = [{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 1, 'y': 2}, {'x': 2, 'y': 4}]
list(dedupe(a, key=lambda d: (d['x'], d['y'])))
list(dedupe(a, key=lambda d: d['x']))