python列表去重_python 字典列表/列表套字典 去重重复的字典数据

python 字典列表/列表套字典 数据去重

第一种：def deleteDuplicate(li):

func = lambda x, y: x if y in x else x + [y]

li = reduce(func, [[], ] + li)

return li

第二种：def deleteDuplicate(li):

temp_list = list(set([str(i) for i in li]))

li=[eval(i) for i in temp_list]

return li

第三种方法：[dict(t) for t in set([tuple(d.items()) for d in li])]

# 解释

li 是原始列表

d  是列表中的一个字典

t  是从字典中创建的元组之一

l = [{'a': 123, 'b': 1234},

{'a': 3222, 'b': 1234},

{'a': 123, 'b': 1234}]

seen = set()

new_l = []

for d in l:

t = tuple(d.items())

if t not in seen:

seen.add(t)

new_l.append(d)

print new_l

建议使用第三种，因为速度更加快，经过测试相同的数据，第三种方法速度比第一种的10倍

样例演示：li = [

{'a': 'b', 'c': 'c'},

{'a': 'b', 'b': 'b'},

{'a': 'b', 'd': 'd'},

{'a': 'b', 'e': 'e'},

{'a': 'b', 'f': 'f'},

{'a': 'b', 'b': 'b'},

{'a': 'b', 'c': 'c'},

]

li = deleteDuplicate(li)

print (li)

[{'a': 'b', 'c': 'c'}, {'a': 'b', 'b': 'b'}, {'a': 'b', 'd': 'd'}, {'a': 'b', 'e': 'e'}, {'a': 'b', 'f': 'f'}]

测试性能相关代码：