你一定不知道的10个Python读写文件的高效技巧！

在Python中高效地读写文件是日常编程任务中的一项重要技能。这里将详细介绍10个高效的Python文件读写技巧，涵盖基本的文件操作到高级技巧。

1. 使用with语句管理文件

使用with语句可以确保文件被正确关闭，即使在读写文件时发生异常也是如此。with语句会自动管理文件的上下文，包括文件的打开和关闭。

with open('example.txt', 'r') as file:
    content = file.read()
    print(content)
# 文件已自动关闭

2. 逐行读取文件

对于大文件，一次性读取整个文件可能会消耗大量内存。使用for循环逐行读取文件是更高效的方法。

with open('large_file.txt', 'r') as file:
    for line in file:
        print(line.strip())  # 去除行尾的换行符

3. 使用缓冲区

对于需要频繁写入文件的场景，使用缓冲区可以减少磁盘I/O操作次数，提高性能。Python的open函数默认就有缓冲区，但你可以通过buffering参数调整缓冲区大小。

with open('output.txt', 'w', buffering=1024*1024) as file:  # 设置1MB的缓冲区
    file.write('大量数据...')

4. 读取特定行

如果只需要读取文件的特定几行，可以使用enumerate结合条件判断来读取。

with open('example.txt', 'r') as file:
    for index, line in enumerate(file):
        if index == 5:  # 读取第6行（索引从0开始）
            print(line.strip())
            break

5. 使用csv模块读写CSV文件

对于CSV文件，使用Python内置的csv模块可以方便地读写，比手动解析字符串更高效。

import csv

with open('data.csv', 'r', newline='') as csvfile:
    reader = csv.reader(csvfile)
    for row in reader:
        print(row)

# 写入CSV
with open('output.csv', 'w', newline='') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['列1', '列2'])
    writer.writerows([[1, 2], [3, 4]])

6. 读取二进制文件

使用'rb'和'wb'模式可以读写二进制文件，这在处理非文本文件（如图片、视频等）时非常有用。

with open('image.png', 'rb') as file:
    data = file.read()
    # 处理数据...

# 写入二进制文件
with open('output.bin', 'wb') as file:
    file.write(b'二进制数据...')

7. 使用seek()和tell()方法

seek()方法用于移动文件读取指针到指定位置，tell()方法用于返回当前文件指针的位置。这在进行随机访问文件时非常有用。

with open('example.txt', 'r+') as file:
    file.read(10)  # 读取前10个字符
    print(file.tell())  # 输出当前位置
    file.seek(0)  # 移动到文件开头
    print(file.read())  # 读取整个文件

8. 批量写入

对于需要写入大量数据的场景，可以先将数据存储在内存中（如列表），然后一次性写入文件，这比逐条写入文件更高效。

lines = ['第一行\n', '第二行\n', '第三行\n']
with open('output.txt', 'w') as file:
    file.writelines(lines)

9. 使用json模块读写JSON数据

对于JSON格式的数据，使用json模块可以方便地进行序列化和反序列化，比手动解析字符串更高效。

import json

data = {'name': 'Alice', 'age': 30}
with open('data.json', 'w') as file:
    json.dump(data, file)

# 读取JSON
with open('data.json', 'r') as file:
    loaded_data = json.load(file)
    print(loaded_data)

10. 异步IO（aiofiles）

对于需要处理大量文件或I/O密集型任务的应用，可以使用异步I/O库（如aiofiles）来提高性能。这允许你以异步方式读写文件，而不会阻塞主线程。

pip install aiofiles

import aiofiles

async def read_file(filename):
    async with aiofiles.open(filename, mode='r') as file:
        return await file.read()

# 需要在异步环境（如asyncio）中使用

这些技巧涵盖了Python文件读写的基本到高级用法，可以帮助你更高效地处理文件I/O操作。