aini4568的博客

转载 300万数据去重问题

问题：有一个300w行的文件，需要给他去重，有什么好的方法，前提是速度要快。 我的实现方式是： 1 .文件读取到内存中 2.在内存中去重 3.插入到MySQL中去。 300万行数据，实现去重只需要80秒 想提高插入速度可以批量插入和 并发 插入数据。 直接上代码： # coding:utf-8 from common.contest import * impo...