这次去测试一下 python 的set去重,速度怎么样?
我们要做的是把文件一次性读取到内存中,然后去重,输出去重的长度。
第一步:对 121w 条数据去重,看去重话费的时间
上证据:

第二步:对 1210 w 条数据去重,看去重话费的时间

第三步:对 1.21 亿 条数据去重,看去重话费的时间

本文通过使用Python的set数据结构进行数据去重操作,分别对121万、1210万及1.21亿条数据进行了去重处理,并记录了不同数据规模下去重所消耗的时间,以此评估Python set在大规模数据处理中的效率。
这次去测试一下 python 的set去重,速度怎么样?
我们要做的是把文件一次性读取到内存中,然后去重,输出去重的长度。
第一步:对 121w 条数据去重,看去重话费的时间
上证据:

第二步:对 1210 w 条数据去重,看去重话费的时间

第三步:对 1.21 亿 条数据去重,看去重话费的时间

转载于:https://www.cnblogs.com/xuchunlin/p/11430787.html
2109
1919
1114

被折叠的 条评论
为什么被折叠?