Python读取文件

基本操作

Python 将文本文件的内容读入可以操作的字符串变量非常容易。文件对象提供了三个“读”方法： read()、readline() 和 readlines()。调用read()会一次性读取文件的全部内容，如果文件超过内存大小，会造成MemoyError，所以，为保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容。另外，调用readline()可以每次读取一行内容，调用readlines()一次读取所有内容并按行返回list。如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便

f = open(filename, "r")
data = f.read()
print(data)
f.close()

分块读取

处理大文件是很容易想到的就是将大文件分割成若干小块处理，处理完每一小块后释放该部分内存。

def read_in_chunks(file_obj, chunk_size=4096):
    """
    function to read a file piece by piece.
    Default chunk size: 4kB.
    """
    while True:
        data = file_obj.read(chunk_size)
        if not data:
            break
        yield data

f = open("filename")
for chuck in read_in_chunks(f):
    #do_something(chunk)
f.close()

使用With open()

with语句打开和关闭文件，包括抛出一个内部块异常。for line in f文件对象f视为一个迭代器，会自动的采用缓冲IO和内存管理，所以不必担心大文件。

with open(filename, "rb") as f:
　　for line in f:
　　　　process(line) # <do something with line>

小结

面对百万行的大型文件使用with open()是没有问题的，但是这里面参数的不同也会导致不同的效率。经过测试发现参数为"rb"时的效率比"r"高很多。由此可知二进制读取依然是最快的模式