python-problem-大文件的读取

python读取大文件

---

一.问题

博主在使用glove840b词向量的时候，遇到的一些坑。这个词向量大概有5.25个G容量，并且我需要按照行来进行处理。然后我直接用了

f = open(path,encoding="utf-8").readlines()

然后内存就炸了。我可是16G的内存呢。

二.对比几种读文件的方法

1.with

with open(path, encoding="utf-8") as f:
    for line in f:
        dosomething()

只占用4.6M内存
注意这种方法每一行最后会有一个’\n’

There should be one – and preferably only one – obvious way to do it.

2.直接遍历

f = open(path, encoding="utf-8")
for line in f:
    dosomething()

只占用4.6M内存
注意这种方法每一行最后会有一个’\n’
这里我想说用with和直接每次读一行进行遍历，实际上是一样的效果的。只是with有一些好处，我打算下一章专门写一下with。先举个列子，用with，就不用在读文件结束的时候写f.close()了。

3.使用readlines()

f = open(path, encoding="utf-8").readlines()
for line in f:
    dosomething()

这种方法会把整个文件一次性加载在内存中，对于小文件来说，处理起来，速度会更快。
但是加载5.25的G的文本的时候，内存直接就爆满了。

4.使用yield配合readline

三.总结

尽量使用with的方法吧。
但是如果文章真的不是很大的话，或者内存足够大的话，还是用readlines比较好，速度能够提升好多。可以具体比较一下。

参考
https://stackoverflow.com/questions/8009882/how-to-read-large-file-line-by-line-in-python