Python 之 os、open、json、pickle 模块的“疯狂”探险记

1.open函数的使用
Python 中的 open() 函数是处理文件的标准方法。它允许你打开一个文件，并对其进行读取、写入或追加操作

open(file,mode,encoding)函数的格式：

file：文件路径
mode：打开方式（
                读： r
                写： w   读完之后光标停留在最后读取的位置
                追加： a
                可读写    r+（文件不存在就报错）
                可读写    w+（文件不存在就创建，如果文件内有内容会覆盖）
                可读写    a+（光标默认停留在最后，不可直接读取到内容，使用seek（0）调整光标位置）,无论光标在哪，默认在最后写入
                读取二进制  rb
                写二进制  wb
encoding：解码方式

 1.1 打开文件并读取内容：使用当你读写完文件后，需要关闭该文件,而with open 会自动帮你关闭文件。open 函数 需要你自己关闭文件。

f = open("./1.helloword.py", mode="w", encoding="utf8")
s.readable()
# 读取文件
content = s.read()
print(content)

cont = s.readline()
print(cont)

# 关闭文件
s.close()

第二种方法:

# 打开文件进行读取
with open('example.txt', 'r') as f:
    content = f.read()
    print(content)

其他的常见方法：

readable():是否可读，返回True or False
read()：读取整个文件，返回字符串
readline():只读取一行，返回字符串
readlines()：逐行读取整个文件，将每行的字符串放进一个列表，返回列表

 1.2 写入文件：
覆盖原文件内容，若没有文件则创建

# 打开文件进行写入
with open('output.txt', 'w') as f:
    f.write('Hello, World!\n')
    f.write('This is a new line.')

其他的常见方法：

writeable:是否可写，返回True or False
write：每次写入一行，但是不会自动换行，没有文件会自动创建,写入的数据必须是字符串
writelines:每次写入多条数据,参数是iterable类型数据，也不会自动换行

1.3 追加内容到文件末尾： 

# 打开文件进行追加
with open('example.txt', 'a') as f:
    f.write('\nThis is appended content.')

 2. 数据序列化：Json与Pickle序列化是将数据结构或对象转换为可以存储或传输的格式（例如字节序列）的过程。反序列化则是序列化的逆过程，即将存储或传输的格式转换回原始的数据结构或对象。

2.1 Json 序列化与反序列化

json模块的优缺点：

• json 用于将数据序列化为 JSON 格式（一种轻量级的数据交换格式）。
• 优点：跨语言支持好，数据格式简单、直观、易于阅读和理解。
• 缺点：不能直接处理 Python 特有的对象，如自定义类的实例，除非进行特殊处理。

以下是json的序列化和反序列化的演示：

import json
 
# 将 Python 对象转换为 JSON 字符串并写入文件
data = {'name': 'Alice', 'age': 30, 'city': 'New York'}
with open('data.json', 'w') as f:
    json.dump(data, f)
 
# 从 JSON 文件中读取数据并解析为 Python 对象
with open('data.json', 'r') as f:
    loaded_data = json.load(f)
    print(loaded_data)

2.2 Pickle 序列化与反序列化：

Pickle模块的优缺点：

• pickle 可以序列化和反序列化大多数 Python 对象，包括自定义类的实例。
• 优点：使用方便，能处理复杂的对象结构。
• 缺点：不安全，因为它可以执行任意代码，不应该用于不可信的数据

pickle模块的示例：

import pickle
 
# 将 Python 对象序列化并写入文件
data = {'name': 'Bob', 'age': 25, 'city': 'San Francisco'}
with open('data.pkl', 'wb') as f:
    pickle.dump(data, f)
 
# 从 Pickle 文件中读取数据并反序列化为 Python 对象
with open('data.pkl', 'rb') as f:
    loaded_data = pickle.load(f)
    print(loaded_data)

3.os模块

文件和目录管理：os 模块os 模块提供了与操作系统交互的功能，允许 Python 程序在不同的操作系统上（如 Windows、Linux、Mac OS 等）具有可移植性。

3.1常用的方法介绍

1. 文件和目录操作：

   • os.mkdir()：创建新目录。
   • os.rmdir()：删除空目录。
   • os.listdir()：列出指定目录中的文件和子目录。
   • os.rename()：重命名文件或目录。
   • os.remove()：删除文件。

2. 路径操作：

   • os.path.join()：将多个路径组件组合成一个完整的路径。
   • os.path.split()：将路径分割为目录和文件名两部分。
   • os.path.exists()：检查路径是否存在。
   • os.path.isfile()：判断是否为文件。
   • os.path.isdir()：判断是否为目录。

3. 进程管理：

   • os.system()：执行操作系统命令。

4. 环境变量：

   • os.environ：获取系统环境变量。

5. 工作目录：

   • os.getcwd()：获取当前工作目录。
   • os.chdir()：改变当前工作目录。

6. 文件属性：

   • os.stat()：获取文件或目录的状态信息，如大小、修改时间等。

7. 权限管理：

   • os.chmod()：更改文件或目录的权限。

8. 其他功能：

   • os.walk()：遍历目录树。
   • os.popen()：执行命令并获取其输出。

通过使用 os 模块，Python 程序可以实现与操作系统的紧密集成，执行各种文件系统操作、系统管理任务以及适应不同操作系统的差异。

3.2 文件和目录操作示例：

import os
 
# 获取当前工作目录
print(os.getcwd())
 
# 创建目录
os.mkdir('my_directory')
 
# 列出目录中的文件
print(os.listdir('.'))
 
# 删除文件
os.remove('unnecessary_file.txt')
 
# 删除目录
os.rmdir('my_directory')

3.3 路径操作与文件属性：

# 检查路径是否存在
print(os.path.exists('data.json'))
 
# 获取文件大小
print(os.path.getsize('data.json'))
 
# 分离文件名与路径
print(os.path.split('/path/to/file.txt'))
 
# 检查是否是文件或目录
print(os.path.isfile('data.json'))
print(os.path.isdir('my_directory'))

OS中的方法：该表来自菜鸟编程，感兴趣的同学可以去菜鸟编程网站自行查找。

序号	方法及描述
1	os.access(path, mode) 检验权限模式
2	os.chdir(path) 改变当前工作目录
3	os.chflags(path, flags) 设置路径的标记为数字标记。
4	os.chmod(path, mode) 更改权限
5	os.chown(path, uid, gid) 更改文件所有者
6	os.chroot(path) 改变当前进程的根目录
7	os.close(fd) 关闭文件描述符 fd
8	os.closerange(fd_low, fd_high) 关闭所有文件描述符，从 fd_low (包含) 到 fd_high (不包含), 错误会忽略
9	os.dup(fd) 复制文件描述符 fd
10	os.dup2(fd, fd2) 将一个文件描述符 fd 复制到另一个 fd2
11	os.fchdir(fd) 通过文件描述符改变当前工作目录
12	os.fchmod(fd, mode) 改变一个文件的访问权限，该文件由参数fd指定，参数mode是Unix下的文件访问权限。
13	os.fchown(fd, uid, gid) 修改一个文件的所有权，这个函数修改一个文件的用户ID和用户组ID，该文件由文件描述符fd指定。
14	os.fdatasync(fd) 强制将文件写入磁盘，该文件由文件描述符fd指定，但是不强制更新文件的状态信息。
15	os.fdopen(fd[, mode[, bufsize]]) 通过文件描述符 fd 创建一个文件对象，并返回这个文件对象
16	os.fpathconf(fd, name) 返回一个打开的文件的系统配置信息。name为检索的系统配置的值，它也许是一个定义系统值的字符串，这些名字在很多标准中指定（POSIX.1, Unix 95, Unix 98, 和其它）。
17	os.fstat(fd) 返回文件描述符fd的状态，像stat()。
18	os.fstatvfs(fd) 返回包含文件描述符fd的文件的文件系统的信息，Python 3.3 相等于 statvfs()。
19	os.fsync(fd) 强制将文件描述符为fd的文件写入硬盘。
20	os.ftruncate(fd, length) 裁剪文件描述符fd对应的文件, 所以它最大不能超过文件大小。
21	os.getcwd() 返回当前工作目录
22	os.getcwdb() 返回一个当前工作目录的Unicode对象
23	os.isatty(fd) 如果文件描述符fd是打开的，同时与tty(-like)设备相连，则返回true, 否则False。
24	os.lchflags(path, flags) 设置路径的标记为数字标记，类似 chflags()，但是没有软链接
25	os.lchmod(path, mode) 修改连接文件权限
26	os.lchown(path, uid, gid) 更改文件所有者，类似 chown，但是不追踪链接。
27	os.link(src, dst) 创建硬链接，名为参数 dst，指向参数 src
28	os.listdir(path) 返回path指定的文件夹包含的文件或文件夹的名字的列表。
29	os.lseek(fd, pos, how) 设置文件描述符 fd当前位置为pos, how方式修改: SEEK_SET 或者 0 设置从文件开始的计算的pos; SEEK_CUR或者 1 则从当前位置计算; os.SEEK_END或者2则从文件尾部开始. 在unix，Windows中有效
30	os.lstat(path) 像stat(),但是没有软链接
31	os.major(device) 从原始的设备号中提取设备major号码 (使用stat中的st_dev或者st_rdev field)。
32	os.makedev(major, minor) 以major和minor设备号组成一个原始设备号
33	os.makedirs(path[, mode]) 递归文件夹创建函数。像mkdir(), 但创建的所有intermediate-level文件夹需要包含子文件夹。
34	os.minor(device) 从原始的设备号中提取设备minor号码 (使用stat中的st_dev或者st_rdev field )。
35	os.mkdir(path[, mode]) 以数字mode的mode创建一个名为path的文件夹.默认的 mode 是 0777 (八进制)。
36	os.mkfifo(path[, mode]) 创建命名管道，mode 为数字，默认为 0666 (八进制)
37	os.mknod(filename[, mode=0600, device]) 创建一个名为filename文件系统节点（文件，设备特别文件或者命名pipe）。
38	os.open(file, flags[, mode]) 打开一个文件，并且设置需要的打开选项，mode参数是可选的
39	os.openpty() 打开一个新的伪终端对。返回 pty 和 tty的文件描述符。
40	os.pathconf(path, name) 返回相关文件的系统配置信息。
41	os.pipe() 创建一个管道. 返回一对文件描述符(r, w) 分别为读和写
42	os.popen(command[, mode[, bufsize]]) 从一个 command 打开一个管道
43	os.read(fd, n) 从文件描述符 fd 中读取最多 n 个字节，返回包含读取字节的字符串，文件描述符 fd对应文件已达到结尾, 返回一个空字符串。
44	os.readlink(path) 返回软链接所指向的文件
45	os.remove(path) 删除路径为path的文件。如果path 是一个文件夹，将抛出OSError; 查看下面的rmdir()删除一个 directory。
46	os.removedirs(path) 递归删除目录。
47	os.rename(src, dst) 重命名文件或目录，从 src 到 dst
48	os.renames(old, new) 递归地对目录进行更名，也可以对文件进行更名。
49	os.rmdir(path) 删除path指定的空目录，如果目录非空，则抛出一个OSError异常。
50	os.stat(path) 获取path指定的路径的信息，功能等同于C API中的stat()系统调用。
51	os.stat_float_times([newvalue]) 决定stat_result是否以float对象显示时间戳
52	os.statvfs(path) 获取指定路径的文件系统统计信息
53	os.symlink(src, dst) 创建一个软链接
54	os.tcgetpgrp(fd) 返回与终端fd（一个由os.open()返回的打开的文件描述符）关联的进程组
55	os.tcsetpgrp(fd, pg) 设置与终端fd（一个由os.open()返回的打开的文件描述符）关联的进程组为pg。
56	os.ttyname(fd) 返回一个字符串，它表示与文件描述符fd 关联的终端设备。如果fd 没有与终端设备关联，则引发一个异常。
57	os.unlink(path) 删除文件路径
58	os.utime(path, times) 返回指定的path文件的访问和修改的时间。
59	os.walk(top[, topdown=True[, οnerrοr=None[, followlinks=False]]]) 输出在文件夹中的文件名通过在树中游走，向上或者向下。
60	os.write(fd, str) 写入字符串到文件描述符 fd中. 返回实际写入的字符串长度
61	os.path 模块 获取文件的属性信息。
62	os.pardir() 获取当前目录的父目录，以字符串形式显示目录名。
63	os.replace() 重命名文件或目录。

这里我仅挑了几个常用的方法来介绍其使用方式：

import os

# 1. os.chdir 改变当前工作目录
original_dir = os.getcwd()
os.chdir('/home/user/Documents')
print("当前工作目录已更改为:", os.getcwd())
os.chdir(original_dir)  # 恢复原始工作目录

# 2. os.mkdir 创建文件夹
try:
    os.mkdir('new_folder')
except FileExistsError:
    print("文件夹已存在")

# 3. os.listdir 列出指定路径下的文件和文件夹
files_and_folders = os.listdir('.')
print("当前目录下的文件和文件夹:", files_and_folders)

# 4. os.rename 重命名文件或目录
try:
    os.rename('new_folder', 'enamed_folder')
except FileNotFoundError:
    print("要重命名的对象不存在")

# 5. os.remove 删除文件
try:
    with open('temp.txt', 'w') as f:
        f.write('Some content')
    os.remove('temp.txt')
except FileNotFoundError:
    print("文件不存在")

# 6. os.walk 遍历目录树
for root, dirs, files in os.walk('.'):
    print(f"根目录: {root}")
    print(f"子目录: {dirs}")
    print(f"文件: {files}")
    print("-" * 20)

# 7. os.path 模块获取文件属性信息
import os.path

file_path = 'example.txt'
if os.path.exists(file_path):
    print(f"文件是否存在: {os.path.exists(file_path)}")
    print(f"是否是文件: {os.path.isfile(file_path)}")
    print(f"是否是目录: {os.path.isdir(file_path)}")
    print(f"文件大小: {os.path.getsize(file_path)} 字节")
else:
    print("文件不存在")

结论
本文介绍了 Python 中常用的文件操作方法 open() 函数，以及数据序列化和反序列化的 json 和 pickle 模块，最后探讨了 os 模块在文件系统操作中的应用。通过这些内容，你可以更好地理解和利用 Python 进行文件管理和数据处理的技巧。

希望本文能帮助你在 Python 开发中更加熟练地处理文件和操作系统相关任务。如果有任何疑问或建议，请留言讨论!