python中list中的字典某个key去重

python中list中的字典某个key去重

当我们写爬虫的时候，经常会遇到json格式的数据格式，通常如下

data = [{'name':'小K','score':100},
        {'name':'小J','score':98},
        {'name':'小Q','score':95},
        {'name':'小K','score':100}]

很显然名字为小k的数据重复了，我们需要进行去重；通常对list的去重，我们可以用set()函数 如下：

data = list(set(data))

然而，运行之后你会发现它报错了：

#  list里的数据不能是dict类型你

解决方案

定义一个去重的函数即可，根据里面的某个key，对数据进行筛选去重：

def DrlRepeat(data,key):
    new_data = [] #  用来存放去重后的字典列表
    values = [] # 用来存放当前已有的值
    for dic in data:
        if dic[key] not in values:
        	values.append(dic[key])
            new_data.append(dic)
    return new_data

参数data为需要去重的列表，key为去重的键（即按照那个key来去重），去重后结果为：

[{'name': '小K', 'score': 100},
 {'name': '小J', 'score': 98},
 {'name': '小Q', 'score': 95}]

去重成功！