Python入门：文件处理全攻略

最新推荐文章于 2024-08-22 11:04:35 发布

互联网架构小马

最新推荐文章于 2024-08-22 11:04:35 发布

阅读量1k

点赞数 19

文章标签： python 文件处理软件开发编程

本文链接：https://blog.csdn.net/weixin_48612224/article/details/139011473

版权

在Python编程世界中，文件处理是一项基础而关键的技能。无论你是零基础的初学者还是有一定基础的开发者，掌握文件处理都将极大提升你的编程能力。

本文将带你从入门到进阶，系统学习Python中的文件处理。

一、文件基本概念

1.1 文件对象

在Python中，文件通过文件对象进行操作。文件对象是通过调用内置的open()函数创建的。这个函数接受至少两个参数：文件名和打开文件的模式。

# 文件对象创建, f 是一个文件对象
f = open('filename.txt', 'r')

📌文件对象的关闭：文件使用完毕后，必须关闭文件以释放系统资源。这可以通过调用文件对象的close()方法实现。

1.2 文件模式

在Python编程中，文件模式决定了文件的打开方式，即你打算如何使用该文件，读取、写入或追加。

常用的文件模式：

文件模式是文件操作中的基础概念，正确选择和使用文件模式对于数据的读取和写入至关重要。

1.3 文件编码

文件编码在Python文件操作中是一个重要的概念，尤其是当你处理文本文件时。编码决定了文本数据如何被转换成字节序列，这对于文件的读取和写入至关重要。

🏷️为什么需要编码：文本文件本质上是字节序列，而不同的编码方式可以表示不同的字符集。编码确保文本文件中的字符可以跨不同平台和程序正确地被读取和写入。

常见的文件编码有哪些？

ASCII （American Standard Code for Information Interchange）：最基础的编码方式，只能表示英文字符。
UTF-8 （8-bit Unicode Transformation Format）：一种变长的Unicode编码方式，可以表示世界上大多数语言的字符。
UTF-16：另一种Unicode编码方式，使用16位或32位表示一个字符。
ISO-8859-1：也称为Latin-1，用于表示西欧语言。
GB2312/GBK：用于表示中文字符的编码方式。

如何设置文件编码？

在Python 3中，文本文件默认使用UTF-8编码。当你打开文件时，可以通过encoding参数指定不同的编码：

# 以UTF-8编码读取文件
with open('example.txt', 'r', encoding='utf-8') as f:
    content = f.read()

# 以UTF-8编码写入文件
with open('example.txt', 'w', encoding='utf-8') as f:
    f.write("Hello, 世界")

通过理解文件编码的概念和如何在Python中指定编码，你可以确保文本文件在不同的环境和程序中正确地被读取和写入。

二、文件基础操作流程

文件的基本操作是编程中处理数据持久化的核心技能。在Python中，这些操作非常简单直观。

以下是文件的基本操作的详细说明。

2.1 打开文件

在Python中，使用open()函数打开一个文件。该函数接受两个主要参数：文件名和打开模式。

f = open('example.txt', 'r')  # 打开文件用于读取，'r'代表只读模式

2.2 读取文件

文件读取操作允许你获取文件的内容。最常用的读取方法是：

read(size)：读取文件的size个字节，并返回它们作为字符串。如果未指定size，读取整个文件。
readline()：读取下一行，直到换行符，返回结果不包括换行符。
readlines()：读取所有行，返回一个包含每行作为元素的列表。

content = f.read()  # 读取整个文件内容
content = f.read(100)  # 读取前100个字符
line = f.readline()  # 读取下一行
lines = f.readlines()  # 读取所有行

2.3 写入文件

写入文件允许你将数据添加到文件中。写入操作通常在写入模式（'w'）或追加模式（'a'）下执行。

write(string)：将字符串写入文件。
writelines(sequence)：将序列中的每个字符串写入文件，序列中的每个元素是一行。

f.write("这是写入的内容\n")  # 写入字符串，并换行
f.writelines(["第一行\n", "第二行\n"])  # 写入多行

2.4 关闭文件

在完成读取、写入操作后，为了确保释放系统资源和所有内容的正确写入。应该使用文件对象的close()方法关闭文件，这可以显式地释放系统资源。

f.close()  # 关闭文件

三、文件系统操作

3.1 目录操作（创建、删除、复制、重命名）

在Python中，目录（也称为文件夹）和文件的操作是文件系统管理的基础。

创建目录：使用os.mkdir()函数可以创建一个新目录。如果需要创建多级目录，可以使用os.makedirs()，它允许你创建包含中间目录的目录树。
```
import os

# 创建单个目录
os.mkdir('new_directory')

# 创建包含中间目录的目录树
os.makedirs('new_directory/sub_directory')
```
删除目录：使用os.rmdir()函数可以删除空目录。如果目录不为空，即包含文件或其他目录，需要使用shutil.rmtree()来删除。
```
# 删除空目录
os.rmdir('empty_directory')

# 删除非空目录及其所有内容
import shutil
shutil.rmtree('non_empty_directory')
```

复制目录：复制目录可以使用shutil.copy()或shutil.copytree()函数。shutil.copytree()用于复制整个目录树。

# 复制单个目录
shutil.copy('source_directory', 'destination_directory')

# 复制整个目录树
shutil.copytree('source_subtree', 'destination_subtree')

重命名目录：重命名目录可以通过os.rename()函数实现，它也可以用于重命名文件。
```
os.rename('old_directory_name', 'new_directory_name')
```
获取目录信息：
```
# 列出目录下的内容
files_and_dirs = os.listdir('directory')

# 检查是否为目录
is_dir = os.path.isdir('path_to_check')
```
- 使用os.listdir()可以获取目录下的所有文件和子目录的列表。
- 使用os.path.isdir()可以检查给定路径是否为目录。
修改当前工作目录：使用os.chdir()可以改变当前工作目录，而os.getcwd()可以获取当前工作目录的路径。
```
# 改变当前工作目录
os.chdir('path_to_new_directory')

# 获取当前工作目录
current_directory = os.getcwd()
```

3.2 文件操作（创建、删除、复制、重命名）

创建文件：创建一个空文件可以使用open()函数，然后立即关闭文件。
```
open('newfile.txt', 'w').close()
```
删除文件：删除文件可以使用os.remove()函数。
```
os.remove('file_to_delete.txt')
```
复制文件：复制文件可以使用shutil.copy()函数。
```
shutil.copy('source_file.txt', 'destination_file.txt')
```
重命名文件：重命名文件也可以使用os.rename()函数。
```
os.rename('old_file_name.txt', 'new_file_name.txt')
```
移动文件或目录：移动（或重命名）文件或目录可以使用shutil.move()函数。
```
shutil.move('source_path', 'destination_path')
```

检查文件或目录：使用os.path.exists()可以检查文件或目录是否存在，os.path.isfile()和os.path.isdir()分别用于检查路径是否为文件或目录。

# 检查文件或目录是否存在
exists = os.path.exists('path')

# 检查是否为文件
is_file = os.path.isfile('path')

# 检查是否为目录
is_dir = os.path.isdir('path')

3.2 文件系统遍历操作：目录内容查看

文件系统遍历操作是查看和处理文件系统中的目录和文件的常用方法。在Python中，可以通过几种不同的方式进行文件系统遍历：

1. 使用os.listdir()

os.listdir()函数可以列出指定目录下的所有文件和子目录。

import os

directory = '/path/to/directory'
for entry in os.listdir(directory):
    print(entry)

2. 使用os.walk()

os.walk()是一个强大的函数，用于递归遍历目录树。它生成包含目录路径、该目录下文件和子目录的元组。

import os

for dirpath, dirnames, filenames in os.walk('/path/to/directory'):
    print(f"Directory: {dirpath}")
    for dirname in dirnames:
        print(f"Subdirectory: {dirname}")
    for filename in filenames:
        print(f"File: {filename}")

3. 使用glob模块

glob模块提供函数，用于使用Unix shell风格的通配符模式来查找文件路径。

import glob

# 匹配所有.txt文件
for file in glob.glob('*.txt'):
    print(file)

# 匹配指定目录及其子目录下的所有.py文件
for file in glob.glob('**/*.py', recursive=True):
    print(file)

4. 使用pathlib模块

Python 3.4及以上版本推荐使用pathlib模块，它提供面向对象的文件系统路径操作。

from pathlib import Path

directory = Path('/path/to/directory')
for entry in directory.iterdir():
    if entry.is_file():
        print(f"File: {entry}")
    elif entry.is_dir():
        print(f"Directory: {entry}")

5. 文件属性

在遍历文件系统时，你可能需要获取文件的属性，如文件大小、创建时间等。

import os
import time

for entry in os.scandir('/path/to/directory'):
    print(f"Name: {entry.name}")
    print(f"Size: {entry.stat().st_size} bytes")
    print(f"Created: {time.ctime(entry.stat().st_ctime)}")

注意事项

使用os.walk()时，它会递归遍历所有子目录，因此可能产生大量的磁盘I/O操作，对大型文件系统要谨慎使用。
递归遍历可能受到文件系统大小和深度的限制，导致栈溢出。
在处理文件和目录时，始终检查is_file()和is_dir()以确保正确的操作。

通过这些方法，你可以有效地查看和处理文件系统中的目录内容，无论是简单的列表显示还是复杂的文件分析。

四、文件高级特性

4.1 文件属性：获取信息

在Python中，获取文件属性是文件操作中的一项基本技能。os.stat()函数可以获取文件的详细属性，它返回一个stat结果对象，该对象包含文件的多种属性，如文件大小、创建时间、修改时间等。

import os
import stat

path = 'example.txt'
file_stat = os.stat(path)

print(f"文件大小: {file_stat.st_size} 字节")
print(f"创建时间: {file_stat.st_ctime}")
print(f"最后修改时间: {file_stat.st_mtime}")
print(f"最后访问时间: {file_stat.st_atime}")
print(f"权限: {oct(file_stat.st_mode & 0o777)}")  # 转换为八进制数

4.2 文件迭代：逐行读取

文件迭代是Python中一种方便的逐行读取文件内容的方法。逐行读取对于处理大型文件特别有用，因为它不需要一次性将整个文件加载到内存中。在Python中，可以直接使用for循环对文件对象进行迭代，这将自动逐行读取文件。

with open('example.txt', 'r', encoding='utf-8') as file:
    for line in file:
        print(line.strip())  # 去除每行的前后空白字符，包括换行符

4.3 异常处理：错误管理

文件操作中可能会遇到各种异常，如文件不存在或权限不足。使用try...except结构可以捕获并处理这些异常。

FileNotFoundError：尝试打开一个不存在的文件时引发。
PermissionError：当尝试对一个没有权限的文件进行操作时引发。
IOError：通用的输入输出异常，如读写文件时发生错误。
OSError：更通用的系统相关错误。

try:
    with open('file.txt', 'r') as f:
        data = f.read()
except FileNotFoundError:
    print("文件未找到，请检查文件路径。")
except PermissionError:
    print("没有权限访问该文件。")
except Exception as e:  # 捕获其他所有类型的异常
    print(f"发生了一个错误：{e}")

4.4 自动管理：上下文管理器

文件上下文管理器是Python中一个非常有用的特性，通过with语句自动管理文件的打开和关闭，即使在读取或写入过程中发生异常也是如此。这有助于防止文件资源泄露，确保文件在使用后被正确地关闭。

# 文件在这个块外会自动关闭
with open('example.txt', 'r') as file:
 # 在这里对文件内容进行处理
    content = file.read()

五、文件操作的实际应用

文件操作在Python编程中的实际应用非常广泛，它们是数据处理、系统管理、网络通信等多个领域不可或缺的一部分。以下是一些常见的文件操作实际应用场景：

数据持久化：将数据持久化是文件操作中最常见的用途之一，用于长期存储信息。
- 日志记录：记录应用程序的运行状态、用户活动和系统错误。
- 数据存储：保存配置信息、用户偏好和游戏进度等。
文本处理：文本文件是信息传递和处理的基本格式。
- 自动化脚本：编写脚本来自动化常规文本处理任务，如搜索、替换、排序文本内容。
- 报告生成：从数据生成格式化的文本报告或从模板生成文档。
文件系统管理：文件系统管理是操作系统功能的重要组成部分。
- 目录操作：创建、删除、移动和重命名目录。
- 权限管理：修改文件和目录的访问权限。
数据分析：数据分析通常涉及从文件中读取数据，处理数据，并可能将结果写回文件。
- CSV和Excel文件处理：读取和写入电子表格数据，进行数据分析和统计。
- JSON和XML处理：处理结构化数据，常用于API交互和配置文件。
Web开发：在Web应用中，文件操作用于管理用户上传的内容和提供下载功能。
- 文件上传：允许用户上传图片、文档等，并保存在服务器上。
- 文件下载：提供文件下载链接，允许用户下载服务器上的文件。