python列表套字典去重复（json去重复)

最新推荐文章于 2024-07-28 03:36:52 发布

kamides

最新推荐文章于 2024-07-28 03:36:52 发布

阅读量2.8k

点赞数 1

文章标签： python json

本文链接：https://blog.csdn.net/kamides/article/details/123705909

版权

工作时经常会用到python处理json格式的数据，
通常json.loads之后主要的数据通常是 list 里面包含很多的dict
直接用list(set()) 这种方式去重会报错
TypeError: unhashable type: 'dict'
所以自己写一个判断重复的方法
def removeduplicate(list1):
    """
    列表套字典去重复
    :param list1: 输入一个有重复值的列表
    :return: 返回一个去掉重复的列表
    """
    newlist = []
    for i in list1:  # 先遍历原始字典
        flag = True
        if newlist == []:  # 如果是空的列表就不会有重复，直接往里添加
            pass
        else:
            for j in newlist:
                count = len(i.keys())
                su = 0
                for key in i.keys():
                    if i[key]  == j[key]:
                        su += 1
                if su == count:
                    flag = False
        if flag:
            newlist.append(i)
    return newlist