python循环读取文件越来越慢_python读取大文件越来越慢的原因与解决

背景：

今天同事写代码，用python读取一个四五百兆的文件，然后做一串逻辑上很直观的处理。结果处理了一天还没有出来结果。问题出在哪里呢？

解决：

1. 同事打印了在不同时间点的时间，在需要的地方插入如下代码:

print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))

发现一个规律，执行速度到后面时间越来越长，也就是处理速度越来越慢。

2. 为什么会越来越慢呢？

1）可能原因1，GC 的问题，有篇文章里面写，python list append 的时候会越来越慢，解决方案是禁止GC:

使用 gc.disable（）和gc.enable（）

2）改完上面，仍然不行，然后看到一篇文章里面写，可能是因为 git 导致的，因为append 的时候 git 会不断同步，会出问题，于是删除 .git 文件夹，结果还是不行。

3）继续查询，发下一个及其有可能出问题的地方。dict 的 in dict.key()，判断 key 是否在 dict 里面，这个的效率是非常低的。看到一篇文章比较了效率：

① 使用 in dict.keys() 效率:

② 使用