jamike的博客

原创 记一次千万数据去重和关联字段的坑

1、原方案非常费时间，每一个文件的处理动则半个小时，前后差不多花了三天才能处理完。后来一想，其实如果一开始就对user表建了索引，也不至于这么费时间。中间还想用存储过程去对order表去重，发现速度也很慢。当建了索引后，最后几个表的处理也很快，包括关联视图的打开时间也很快，用不了半个小时，十秒钟就能打开视图。2、一个意外的惊喜是用python处理大数据量的csv，没想到效率这么高。以上，踩坑记录。2022年9月12日 于北京。