第三章 文件操作

第三章 深入解锁 Python 文件操作

引言：Python 文件操作的核心作用

文件操作是编程中的重要技能之一，尤其在 Python 中，它被广泛用于管理数据、记录日志、读取和写入配置文件等任务。无论是自动化日常工作，还是开发复杂的企业应用，掌握文件操作都能极大提升开发效率和项目稳定性。

在本文中，我们将深入解锁 Python 文件操作的核心技术，从基础的文件读写到高级的批量管理，让你能够轻松应对编程中的数据处理需求。

---

一、文件操作基础：从打开到关闭

在 Python 中，文件操作可以分为三个核心步骤：打开文件、处理文件 和 关闭文件。以下是具体操作方法：

1. 使用 open() 方法打开文件

open() 是 Python 提供的内置函数，用于打开一个文件进行操作。它的基本语法如下：

file = open('filename.txt', mode)

• filename: 文件的路径或名称。

• mode

  文件操作模式，常见模式包括：

  • r: 只读模式（默认）。
  • w: 写入模式（覆盖文件）。
  • a: 追加模式（在文件末尾写入内容）。
  • b: 二进制模式（与 r、w、a 结合使用）。

2. 使用 with 语句自动管理文件资源

为了避免忘记关闭文件导致的资源浪费，Python 推荐使用 with 语句。它会在代码块执行完毕后自动关闭文件：

with open('example.txt', 'r') as file:
    content = file.read()
    print(content)

• 优势: 文件关闭操作由 Python 自动处理，无需手动调用 file.close()。

3. 文件处理的基本方法

• 读取文件内容:

  with open('example.txt', 'r') as file:
      content = file.read()  # 读取整个文件内容
      print(content)
  

• 逐行读取文件:

  with open('example.txt', 'r') as file:
      for line in file:
          print(line.strip())  # 去除换行符
  

• 写入文件内容:

  with open('output.txt', 'w') as file:
      file.write("Hello, Python!")  # 覆盖写入内容
  

4. 关闭文件

虽然 with 语句会自动关闭文件，但如果你使用的是 open()，需要手动关闭文件：

file = open('example.txt', 'r')
# 进行文件操作
file.close()  # 释放资源

---

二、处理常见文件类型

Python 提供了强大的内置模块和方法，用于处理多种文件类型。以下是对常见文件类型的详细操作说明：

---

1. 文本文件（.txt）

文本文件是最基本的文件格式，适合存储简单的数据，如日志或记录。

读取文本文件：

• 读取整个文件内容：

  with open('example.txt', 'r') as file:
      content = file.read()
      print(content)
  

写入或追加文本：

• 覆盖写入：

  with open('example.txt', 'w') as file:
      file.write("This is a new line.")
  

• 追加写入：

  with open('example.txt', 'a') as file:
      file.write("\nThis line is appended.")
  

---

2. CSV 文件

CSV（Comma-Separated Values）文件是一种常见的表格数据存储格式，广泛用于数据科学和分析。

使用 csv 模块读取 CSV 文件：

• 逐行读取并打印：

  import csv
  
  with open('data.csv', 'r') as file:
      reader = csv.reader(file)
      for row in reader:
          print(row)
  

写入 CSV 文件：

• 将列表写入文件：

  import csv
  
  data = [["Name", "Age"], ["Alice", 30], ["Bob", 25]]
  
  with open('output.csv', 'w', newline='') as file:
      writer = csv.writer(file)
      writer.writerows(data)
  

---

3. JSON 文件

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，适合存储结构化数据。

使用 json 模块读取 JSON 文件：

• 解析 JSON 文件为 Python 字典：

  import json
  
  with open('data.json', 'r') as file:
      data = json.load(file)
      print(data)
  

写入 JSON 文件：

• 将字典保存为 JSON 文件：

  import json
  
  data = {"name": "Alice", "age": 30}
  
  with open('output.json', 'w') as file:
      json.dump(data, file, indent=4)
  

---

三、高效文件操作的高级技巧

在日常开发中，处理大文件和批量文件操作可能会变得复杂。Python 提供了一些实用的方法和工具，让这些任务更加高效。

---

1. 大文件分块读取

在处理非常大的文件时，直接读取整个文件可能导致内存不足。可以通过分块读取优化性能：

with open('large_file.txt', 'r') as file:
    while chunk := file.read(1024):  # 每次读取 1024 字节
        print(chunk)

2. 批量文件操作：使用 os 和 shutil 模块

• 获取目录中的所有文件：

  import os
  
  files = os.listdir('path/to/directory')
  print(files)
  

• 批量重命名文件：

  import os
  
  directory = 'path/to/directory'
  for filename in os.listdir(directory):
      new_name = filename.replace('old', 'new')
      os.rename(os.path.join(directory, filename), os.path.join(directory, new_name))
  

• 复制和移动文件：

  import shutil
  
  shutil.copy('source.txt', 'destination.txt')  # 复制文件
  shutil.move('source.txt', 'new_directory/')  # 移动文件
  

---

3. 文件路径管理：os.path 与 pathlib

处理跨平台路径时，应使用 Python 提供的工具确保代码在不同系统间兼容：

• 使用 os.path 模块：

  import os
  
  path = os.path.join('folder', 'subfolder', 'file.txt')  # 构建路径
  print(os.path.abspath(path))  # 获取绝对路径
  

• 使用现代化的 pathlib 模块：

  from pathlib import Path
  
  path = Path('folder/subfolder/file.txt')
  print(path.resolve())  # 获取绝对路径
  

四、常见问题及解决方案

文件操作过程中，开发者可能会遇到各种问题，如路径错误、权限问题、编码不匹配等。以下是常见问题的分析和解决方法：

---

1. 文件找不到错误（FileNotFoundError）

原因: 文件路径错误或文件不存在。

解决方法:

• 确保文件路径正确并使用 os.path 或 pathlib 验证路径。

• 提前检查文件是否存在：

  import os
  
  if os.path.exists('example.txt'):
      with open('example.txt', 'r') as file:
          content = file.read()
  else:
      print("File not found!")
  

---

2. 文件被占用错误（PermissionError 或 IOError）

原因: 文件被其他程序占用，或没有权限访问文件。

解决方法:

• 检查文件是否被其他进程锁定。

• 使用合适的文件权限模式（如 rb 读取二进制文件）。

• 使用异常处理保证程序健壮性：

  try:
      with open('example.txt', 'r') as file:
          content = file.read()
  except PermissionError:
      print("Permission denied. Please check file access.")
  

---

3. 编码问题导致读取失败

原因: 文件使用了不同的字符编码格式（如 UTF-8、GBK）。

解决方法:

• 在 open() 中指定文件编码：

  with open('example.txt', 'r', encoding='utf-8') as file:
      content = file.read()
  

• 检测文件的实际编码：可以使用 chardet 模块或工具。

---

4. 读取大文件导致内存不足

原因: 文件过大，一次性加载内存不足。

解决方法:

• 使用分块读取：

  with open('large_file.txt', 'r') as file:
      for line in file:
          process(line)  # 逐行处理
  

• 使用生成器处理大数据流：

  def read_large_file(file_path):
      with open(file_path, 'r') as file:
          for line in file:
              yield line
  
  for line in read_large_file('large_file.txt'):
      process(line)
  

---

5. 路径问题导致跨平台兼容性差

原因: 使用硬编码路径，导致代码在不同操作系统上出错。

解决方法:

• 使用 os.path 或 pathlib 动态构建路径：

  from pathlib import Path
  
  path = Path('folder') / 'subfolder' / 'file.txt'
  print(path.resolve())  # 获取跨平台兼容的路径
  

    for line in read_large_file('large_file.txt'):
        process(line)
  

---

5. 路径问题导致跨平台兼容性差

原因: 使用硬编码路径，导致代码在不同操作系统上出错。

解决方法:

• 使用 os.path 或 pathlib 动态构建路径：

  from pathlib import Path
  
  path = Path('folder') / 'subfolder' / 'file.txt'
  print(path.resolve())  # 获取跨平台兼容的路径
  

---

下一节将介绍一下json和csv文件格式。
公众号：早早下班（有更多资源）