Python文件处理--进阶

Python标准库文件操作相关模块：

1.使用pickle序列化

序列化指的是：将对象转化成“串行化”数据形式，存储到硬盘或通过网络传输到其他地方。反序列化是指相反的过程，将读取到的“串行化数据”转化成对象。我们可以使用pickle模块中的函数，实现序列化和反序列操作。
序列化我们使用：
pickle.dump(obj, file)： obj就是要被序列化的对象， file 指的是存储的文件
pickle.load(file) ：从 file 读取数据，反序列化成对象
将对象序列化到文件中：

import pickle
with  open("data.dat","wb") as f:
   name = "高淇"
   age = 34
   score = [90,80,70]
   resume ={'name':name,'age':age,'score':score}
   pickle.dump(resume,f)

将获得的数据反序列化成对象：

import pickle
with  open("data.dat","rb") as f:
    resume = pickle.load(f)
    print(resume)
#执行结果：{'name': '高淇', 'age': 34, 'score': [90, 80, 70]}

2.CSV文件的操作

csv是逗号分隔符文本格式，常用于数据交换、Excel文件和数据库数据的导入和导出。
与Excel文件不同，CSV文件中：
1.值没有类型，所有值都是字符串
2.不能指定字体颜色等样式
3.不能指定单元格的宽高，不能合并单元格
4.没有多个工作表
5.不能嵌入图像图表
Python标准库的模块csv提供了读取和写入csv格式文件的对象。
我们在excel中建立一个简单的表格：

csv.reader对象和csv文件读取：

import csv
with  open(r"d:\a.csv") as a:
    a_csv = csv.reader(a)        #创建csv对象,它是一个包含所有数据的列表，每一行为一个元素
    headers = next(a_csv)        #获得列表对象，包含标题行的信息
    print(headers)
    for row in a_csv:           #循环打印各行内容
        print(row)

执行结果：

csv.writer对象和csv文件写入：

import csv
headers = ["工号","姓名","年龄","地址","月薪"]
rows = [("1001","高淇",18,"西三旗1号院","50000"),("1002","高八",19,"西三旗1号院","30000")]
with  open(r"d:\b.csv","w") as b:
    b_csv = csv.writer(b)        #创建csv对象
    b_csv.writerow(headers)      #写入一行（标题）
    b_csv.writerows(rows)        #写入多行（数据）

执行结果：

3.os和os.path模块

os模块 可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令，直接操作文件、目录等等。Linux本身是命令行操作，我们可以通过os.system更容易的调用相关的命令；
⚠️os模块 是做系统运维非常重要的基础。
os模块-调用操作系统命令：
1.os.system 调用windows系统的记事本程序：

import os
os.system("notepad.exe")

2.os.system 调用windows系统中ping命令：

import os
os.system("ping www.baidu.com")

3.os.startfile ：直接调用可执行文件：
示例：运行安装好的微信

import os
2 os.startfile(r"C:\Program Files
(x86)\Tencent\WeChat\WeChat.exe")

os模块-文件和目录操作

我们可以通过前面讲的文件对象实现对于文件内容的读写操作。如果，还需要对文件和目录做其他操作，可以使用 os 和 os.path 模块。
os 模块下常用操作文件的方法：
os 模块下关于目录操作的相关方法，汇总如下：
示例：

#测试os模块中，关于文件和目录的操作
import os
#打印基本的信息
print(os.name)  #windows-->nt linux-->posix
print(os.sep)   #windows-->\   linux-->/
print(repr(os.linesep))   #windows-->\r\n 
linux-->\n
a = '3'
print(a)
print(repr(a))      #repr可以显示数据信息
#获取文件和文件夹的相关信息
print(os.stat("my01.py"))
#关于工作目录的操作
print(os.getcwd())   #获得当前工作目录
os.chdir("d:")      #当前的工作目录就变成了d：的根目录
######创建目录、删除目录
#os.mkdir("书籍")
#os.rmdir("书籍")
######创建多级目录
# os.makedirs("电影/港台/周星驰")
# os.rename("电影","movie")
dirs = os.listdir("movie")
print(dirs)

os.path模块

os.path 模块提供了目录相关（路径判断、路径切分、路径连接、文件夹遍历）的操作
示例：

#测试os.path常用方法
import os
import os.path
#################获得目录、文件基本信息
######################
print(os.path.isabs("d:/a.txt"))    #是否绝对路径
print(os.path.isdir("d:/a.txt"))    #是否目录
print(os.path.isfile("d:/a.txt"))   #是否文件
print(os.path.exists("a.txt"))      #文件是否存在
print(os.path.getsize("a.txt"))     #文件大小
print(os.path.abspath("a.txt"))     #输出绝对路径
print(os.path.dirname("d:/a.txt"))  #输出所在目录
########获得创建时间、访问时间、最后修改时间
##########
print(os.path.getctime("a.txt"))    #返回创建时间
print(os.path.getatime("a.txt"))    #返回最后访问时间
print(os.path.getmtime("a.txt"))    #返回最后修改时间
################对路径进行分割、连接操作
####################
path = os.path.abspath("a.txt")     #返回绝对路径
print(os.path.split(path))          #返回元组：目录、文件('C:\\Users\\Administrator\\PycharmProjects\\mypro_io\\test_os', 'a.txt')
print(os.path.splitext(path))       #返回元组：路径、扩展名('C:\\Users\\Administrator\\PycharmProjects\\mypro_io\\test_os\\a', '.txt')
print(os.path.join("aa","bb","cc")) #返回路径：aa/bb/cc

walk()递归遍历所有文件和目录

os.walk() 方法是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。格式如下：

os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])

其中， top :是要遍历的目录。 topdown ：可选， True ，先遍历 top 目录再遍历子目录。
返回三元组（ root 、 dirs 、 files ）：
root ：当前正在遍历的文件夹本身
dirs ：一个列表，该文件夹中所有的目录的名字
files ：一个列表，该文件夹中所有的文件的名字
示例：使用 walk() 递归遍历所有文件和目录

import os
path = os.getcwd()
list_files = os.walk(path,topdown=False)
for root,dirs,files in list_files:
   for name in files:
       print(os.path.join(root,name))
   for name in dirs:
       print(os.path.join(root,name))

若目录结构是：

运行结果：

4.shutil模块(拷贝和压缩)

shutil 模块是python标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以做文件和文件夹的压缩、解压缩操作。
os 模块提供了对目录或文件的一般操作。 shutil 模块作为补充，提供了移动、复制、压缩、解压等操作，这些 os 模块都没有提供。
实现文件的拷贝：

import shutil
#copy文件内容
shutil.copyfile("a.txt","a_copy.txt")

实现递归的拷贝文件夹内容(使用 shutil 模块)：

import shutil
#"音乐"文件夹不存在才能用。
shutil.copytree("电影/学习","音乐",ignore=shutil.ignore_patterns("*.html","*.htm"))

将文件夹“电影/学习”下面的内容拷贝到文件夹“音乐”下。拷贝时忽略所有的 html 和 htm 文件。运行结果如下：

实现将文件夹所有内容压缩(使用 shutil 模块)：

import shutil
import zipfile
#将"电影/学习"文件夹下所有内容压缩到"音乐2"文件夹下生成movie.zip
#shutil.make_archive("音乐2/movie","zip","电影/学习")
#压缩:将指定的多个文件压缩到一个zip文件
#z = zipfile.ZipFile("a.zip","w")
#z.write("1.txt")
#z.write("2.txt")
#z.close()

实现将压缩包解压缩到指定文件夹(使用 shutil 模块)：

import shutil
import zipfile
#解压缩：
z2 = zipfile.ZipFile("a.zip","r")
z2.extractall("d:/")  #设置解压的地址
z2.close()

4.递归遍历目录下所有文件

import os
import os.path
#递归遍历目录树
def my_print_file(path,level):
   child_files = os.listdir(path)
   for file in child_files:
       file_path = os.path.join(path,file)    
	   print("\t"*level+file_path[file_path.rfind(os.sep)+1:])
       if os.path.isdir(file_path):
           my_print_file(file_path,level+1)
my_print_file("电影",0)

执行结果：