Python 读取大文件的方法，Python读取文件报错：MemoryError

创建一个3G大小的word文件，创建方法参考：如何快速生成一个指定大小的txt、word文件

import datetime
f = open(r'C:\Users\songlihui\PycharmProjects\test002django\apps\1.doc')
t = open(r'C:\Users\songlihui\PycharmProjects\test002django\apps\6.doc', 'w')
print(datetime.datetime.now())# 打印时间来看总共的耗时
while True:
    #处理该行的代码
    data = f.read(1024)# 使用read每次读取1024个
    if data:
        t.write(data)# 将从1.doc中读的内容写入到6.doc中
    else:
        print(datetime.datetime.now())
        break
print(datetime.datetime.now())# 打印结束时间

# 写成一个读取文件的函数
# def read_in_chunks(filePath, chunk_size=1024*1024):
#     file_object = open(filePath)
#     while True:
#         chunk_data = file_object.read(chunk_size)
#         if not chunk_data:
#             break
#         yield chunk_data
# if __name__ == "__main__":
#     filePath = r'C:\Users\songlihui\PycharmProjects\test002django\apps\1.doc'
#     print(datetime.datetime.now())
#     for chunk in read_in_chunks(filePath):
#         t.write(chunk)
#     print(datetime.datetime.now())

自测读取大文件使用的方法是read，网上搜索了很多文章参考。有人说也可以使用readline等，但是自测还是会报错提示内存溢出MemoryError。不过自测3G大小的文件，读和写入加起来的耗时在30s左右。效率并不是很高，不知道大家还有没有更好的方法，如果有欢迎留言评论探讨。