•原始数据: 1866 2582
①Excel去重,存在文件未完全加载问题,没有完全处理
•分成小文件
•重复值670 9441
•去重余1195 3141
②Excel+程序 直接去重20191022 18:40
•读取数据存在读取不全,程序比较慢
•只读取原始数据: 1866 2577
③排序完再去重
•排序很慢
④数据库里直接去重
•先分组,再去重。由于数据量大,复制表很慢,数据库崩溃
•原始数据: 1866 2582
①Excel去重,存在文件未完全加载问题,没有完全处理
•分成小文件
•重复值670 9441
•去重余1195 3141
②Excel+程序 直接去重20191022 18:40
•读取数据存在读取不全,程序比较慢
•只读取原始数据: 1866 2577
③排序完再去重
•排序很慢
④数据库里直接去重
•先分组,再去重。由于数据量大,复制表很慢,数据库崩溃