python 嵌套List去重之set大法(表格转化为str再hash去重) 和 遍历append大法

最新推荐文章于 2023-10-24 15:54:03 发布
最新推荐文章于 2023-10-24 15:54:03 发布
阅读量2.4k 收藏 1
点赞数
文章标签： 去重 Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xueaalei1/article/details/82886085
版权

网上常见的python List去重主要是3钟.

1、遍历,not in ,再append

2、直接set

3、itertools.grouby

 

对于嵌套list去重. 可以利用分隔符将list合并为字符串后,再用set去重. 速度会有很明显的提高!

从遍历大法的 30分钟+ ,到4s就完成

 

小弟之前主要是用1 . 因为set无法对表格套表格进行处理.

直到今天处理一串200万行的list.  因为list无法hash, 所以用append大法.

结果喝了两杯茶了,都还没好!!!

用tqdm模块来生成进度条,查看遍历的进度时,心,彻底寒了...

什么,居然要尼玛26分钟?  而且随着 list_noDuplicate慢慢变大,速度会越来越慢.

然后就试试上面说的方法.  将list转化为str后再用set去重

(因为数据都是取自数据库,所以是标准的结构化数据)

 

从30分钟..变到了4秒钟

我的妈呀

席地而坐不谈国事
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python 集合set()使用
weixin_43570470的博客
03-17 1728
在python3中按数据类型的可变与不可变大致分为如下几种类型，前面已经介绍了另外几种了。今天讲讲set。 不可变数据（3个）：Number（数字）、String（字符串）、Tuple（元组）； 可变数据（3个）：List（列表）、Dictionary（字典）、Set（集合）。 python中，用set来表示一个无序不重复元素的序列。set的只要作用就是用来给数据去重。 可以使用大括号 { } 或者 set() 函数创建集合，但是注意如果创建一个空集合必须用 set() 而不是 { }，因为{}是用来表
Python 列表list中元素去重的6种方式总结
热门推荐
给我一点温度
10-15 1万+
相关文章：https://blog.csdn.net/sinat_26811377/article/details/102568410 输入： s = [1, 3, 2, 34, 4, 6, 6, 7, 1, 4, 8, 98] 输出： string_duplicate_1 [1, 3, 2, 34, 4, 6, 7, 8, 98] string_duplicate_2 dic...
Python - list 去重的 4 种方法 - 进阶之路
lixiang5453的博客
09-25 753
开发中对数组、列表去重是非常常见的需求，对一个list中的id进行去重，有下面几种方法，前面两种方法不能保证顺序， 后面两种方法可以保持原来的顺序。 下面的代码都在Python3下测试通过， Python2下请自行测试 1. 使用set的特型，python的set和其他语言类似, 是一个无序不重复元素集 1 2 3 4 orgList=[1,0,3,7,7,5] #list()方法是把字符串str或元组转成数组 formatLi..
python 中集合set()常用操作
m0_46483236的博客
07-06 2160
python中的集合和数学上的集合基本是没有区别的，元素无序且不重复，不可以使用索引访问。 方式2：使用 set()，也可以创建空集合 方式3：将列表转换为集合 方式4：使用生成列生成列表 方式2：通过 update() 方法为集合添加多个元素，对应于列表的extend() 2.2 删除元素 方式1：通过 discard() 方法删除指定元素（集合中没有也不会报错） 方式2：通过 remove() 方法删除指定元素（集合
易错点---嵌套列表的去重
wuhao0728的博客
07-05 304
2. 使用列表推导式进行去重：遍历列表，将每个元素作为键存储在字典中，由于字典的键是唯一的，重复的元素会被自动去除。然后再提取字典的键（即去重后的元素）。1. 使用集合（set）进行去重：将列表转换为集合，因为集合中不允许存在重复元素，然后再将集合转换回列表。3. 使用循环遍历进行去重：创建一个空列表，遍历原列表的元素，如果元素不在新列表中，则将其添加到新列表中。无论使用哪种方法，最终的mm列表都会变为去重后的结果：[[1, 2], [2, 3], [5, 5]]。
11、Python -- 列表去重的三种方法
Java 领域技术分享
10-24 727
Python -- 列表去重的三种方法
Python操作redis实例小结【String、Hash、List、Set等】
09-09
以下是对Python操作Redis中String、Hash、List和Set的基本操作进行的详细说明。 **1. String操作** 在Redis中，String是最基础的数据类型，它对应于Python中的字符串。你可以使用`set()`方法来设置值，如果键已经...
python字典dict-创建&嵌套&查找&修改&多种遍历
12-21
通过哈希Hash算法，提高搜索能力。因此明显优于for循环 顺序？ 每个键值对存储在hash值，地址里。没有顺序。 因此无法使用下标访问 但是可通过dict_name[key_name]访问对应的value dict操作 操作语法 功能 ...
基于python与哈希算法实现图像去重
06-25
在IT领域，图像处理是一项重要的任务，特别是在大数据分析、搜索引擎优化和内容管理中。当我们需要对大量图片进行管理和分类时，图像去重成为一个关键问题。本文将深入探讨如何利用Python编程语言和哈希算法来有效地...
python的dict,set,list,tuple应用详解
12-24
本文深入剖析了python中dict,set,list,tuple应用及对应示例，有助于读者对其概念及原理的掌握。具体如下： 1.字典(dict) dict 用 {} 包围 dict.keys(),dict.values(),dict.items() hash(obj)返回obj的哈希值，如果...
python dict嵌套list_字典(dict),字典的嵌套,集合(set)
weixin_39569753的博客
12-11 2299
1.字典1.1 字典是python中唯一的一个具有映射的类型.dict = {"键":'值'} 键(key)是必须是不可变的(可哈希的).值(value)没有要求.1.2 不可变的数据类型:int,str,tuble,bool不可哈希(可变)的数据类型: list, dict, set(集合).1.3 字典的增删改查1.3.1 増:1) dic["键"] = "值"2) dic.setd...
python的列表list和集合set操作
Mr番茄蛋的博客
04-15 1万+
以下是一些python的list和set的基本操作 1.list的一些操作   list = [1, 2, 3] list.append(5) print(list) list.extend([7, 8]) # extend是将可迭代对象的元素依次加入列表 print(list) list.append([7, 8]) # append是把传入的参数当成一个元素加入列表 print...
python中函数list和set
weixin_45599402的博客
05-10 856
函数list和set 问题描述 最近看到一个比较有意思的代码如下，可以看到当我们使用花括号对a里的每个值进行加一时，输出的却是花括号，当我们使用中括号时输出的就是中括号，这到底是什么呢？ >>> a=[1,2,3,4] >>> a={x+1 for x in a} >>> print(a) {2, 3, 4, 5} >>> a=[x+1 for x in a] >>>
【小方法】python列表套字典去重、列表套列表去重
wangzhuanjia的博客
05-27 4477
问题场景： 今天我在爬虫汇总数据的时候，采用的数据结构为列表套字典如下： 这里有一个列表里面有三个元素类型都是字典，可以看到索引为0和2的元素key和value完全相同。 这是我想去掉其中一个就是一个简单的字典去重方法，列表去重很简单，直接采用set转为集合方法在转回list类型，我尝试了一下，我天真的以为此时的数据结构也可以这样操作。 错误提示说 不可哈希类型。 可哈希：int \ float \ str \ tuple 不可哈希: list \ set \ dict 列表嵌套字典去重： data_l
python中列表实现去重使用_Python实现嵌套列表去重方法示例
weixin_39638801的博客
11-20 186
发现问题python嵌套列表大家应该都不陌生，但最近遇到了一个问题，这是工作中遇到的一个坑，首先看一下问题raw_list = [["百度", "CPY"], ["京东", "CPY"], ["黄轩", "PN"], ["百度", "CPY"]]列表嵌套了列表，并且有一个重复列表["百度", "CPY"]，现在要求将这个重复元素进行去重（重复是指嵌套的列表内两个元素都相同），并且保证元素顺序不变，...
python中set、map、assert、glob、字典操作
winnertakeall的博客
04-29 1405
    1.set():表示创建集合。 2.在集合里面添加一些元素，add()方法 3.map的用法 In [12]: a = "3,4,5".split(",") In [13]: a Out[13]: ['3', '4', '5'] In [14]: b = map(int,a) In [15]: b Out[15]: <map at 0x7f2921085da...
Python List数据去重和嵌套List数据去重
lbyd2016的博客
11-04 5380
单个list中数据去重 例如： 去除a中重复的数据 ‘b’ a = ['a','b','c','b'] b = list(set(a)) print(b) 输出结果为： ['a', 'c', 'b']    嵌套list中去除相同list数据 例如： 去除a中重复的数据 ['a','b'] a = [['a','b'],['a','c'],['a','b']] b =...
python3关于列表中嵌套多重列表元素的去重操作
pengshengege的博客
01-14 2579
今天遇到个列表中嵌套列表，并且要将其中嵌套的列表的相同元素去重！~ 比如这种列表元素[ [‘7天’, ‘0’], [‘14天’, ‘0’],[‘14天’, ‘0’],[‘14天’, ‘0’], [‘28天’, ‘0’], [‘63天’, ‘0’] ] 其中[‘14天’, ‘0’]这个元素出现了三次，因为我之前的正则匹配使用的re.findall() re.findall('"draftPath":...
python爬虫数据去重代码
最新发布
12-18
以下是Python爬虫数据去重的代码示例： ```python import hashlib # 定义一个去重类 class Deduplication(object): def __init__(self): self.hash = set() # 判断url是否重复 def is_duplicate(self, url): fp = hashlib.sha1() fp.update(url.encode('utf-8')) url_sha1 = fp.hexdigest() if url_sha1 in self.hash: return True else: self.hash.add(url_sha1) return False ``` 使用示例： ```python # 创建一个去重对象 dedup = Deduplication() # 判断url是否重复 if dedup.is_duplicate(url): print('该url已经被爬取过了') else: # 爬取该url ... ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值