python字典去重_python按照list中字典的某key去重代码示例

本篇文章小编给大家分享一下python按照list中字典的某key去重代码示例，文章代码介绍的很详细，小编觉得挺不错的，现在分享给大家供大家参考，有需要的小伙伴们可以来看看。

一、需求说明

当我们写爬虫的时候，经常会遇到json格式的数据，它通常是如下结构：

data = [{'name':'小K','score':100},

{'name':'小J','score':98},

{'name':'小Q','score':95},

{'name':'小K','score':100}]

很显然名字为小K的数据重复了，我们需要进行去重。通常对于list的去重，我们可以用set()函数，即：

data = list(set(data))

然而，运行之后你会发现它报错了：

list里的数据不能是dict类型，那么该怎么办呢？

二、我的解决方案

定义一个去重的函数即可，根据里面的某个key，对数据进行筛选去重：

def DelRepeat(data,key):

new_data = [] # 用于存储去重后的list

values = [] # 用于存储当前已有的值

for d in data:

if d[key] not in values:

new_data.append(d)

values.append(d[key])

return new_data

参数data为需要去重的list，key为去重的健(即按照哪个key来去重)，去重后结果为：

[{'name': '小K', 'score': 100},

{'name': '小J', 'score': 98},

{'name':

'小Q', 'score': 95}]

成功去重！