使用python读取大文件

        读取文件时，如果文件过大，则一次读取全部内容到内存，容易造成内存不足，所以要对大文件进行批量的读取内容。

        python读取大文件通常两种方法：第一种是利用yield生成器读取；第二种是：利用open()自带方法生成迭代对象，这个是一行一行的读取。

1、利用yield生成器读取

示例代码：

# import random
# 生成模拟测试数据
# for i in range(100000):
#     random_data = random.randint(1, 100)
#     data = f"num:{i}, random_num: {random_data} \n"
#     with open('data/big_data.txt', 'a', encoding='utf-8') as f:
#         f.write(data)


def read_big_file(file_path, size=1024, encoding='utf-8'):
    with open(file_path, 'r', encoding=encoding) as f:
        while True:
            part = f.read(size)
            if part:
                yield part
            else:
                return None


file_path = 'data/big_data.txt'
size = 100  # 每次读取指定大小的内容到内存，为了测试更加明显，这儿写的小一些

# 注意：以'a'追加模式下，大文件也不会占用太多内存
for part in read_big_file(file_path, size):
    with open('data/new_big_data.txt', 'a', encoding='utf-8') as w:
        w.write(part)
    print(part)
    print('*' * 100)

运行结果：

2、利用open()自带方法生成迭代对象

注意：这是一行一行的读取，在数据量比较大的时候效率是极低的。

示例代码：

# import random
# 生成模拟测试数据
# for i in range(100000):
#     random_data = random.randint(1, 100)
#     data = f"num:{i}, random_num: {random_data} \n"
#     with open('data/big_data.txt', 'a', encoding='utf-8') as f:
#         f.write(data)


file_path = 'data/big_data.txt'
new_file_path = 'data/new_big_data.txt'
with open(file_path, 'r', encoding='utf-8') as f:
    for line in f:
        print(line)
        with open(new_file_path, 'a', encoding='utf-8') as a:
            a.write(line)

运行结果：