文件处理

文本文件和二进制文件

按文件中数据组织形式，我们把文件分为文本文件和二进制文件两大类。

1. 文本文件

   文本文件存储的是普通“字符”文本，python默认为unicode字符集（两个字节表示一个字符，最多可以表示：65536个），可以使用记事本程序打开。

2. 二进制文件

   二进制文件把数据内容用“字节”进行存储，无法用记事本打开。必须使用专用的软件解码。常见的有：MP4视频文件、MP3音频文件、JPG图片、doc文档等等。

文件操作 

    一个完整的程序一般都包括数据的存储和读取；我们在前面写的程序数据都没有进行实际的存储，因此python解释器执行完数据就消失了。实际开发中，我们经常需要从外部存储介质（硬盘、光盘、U盘等）读取数据，或者将程序产生的数据存储到文件中，实现“持久化”保存。 

文件操作相关模块概述

Python标准库中，如下是文件操作相关的模块，我们会陆续给大家介绍。

名称	说明
io模块	文件流的输入和输出操作 input output
os模块	基本操作系统功能，包括文件操作
glob模块	查找符合特定规则的文件路径名
fnmatch模块	使用模式来匹配文件路径名
fileinput模块	处理多个输入文件
filecmp模块	用于文件的比较
csv模块	用于csv文件处理
pickle和cPickle	用于序列化和反序列化
xml包	用于XML数据处理
bz2、gzip、zipfile、zlib、tarfile	用于处理压缩和解压缩文件（分别对应不同的算法）

创建文件对象open() 

open()函数用于创建文件对象，基本语法格式如下：

open(文件名[,打开方式])

如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如：D:\a\b.txt

为了减少\的输入，可以使用原始字符串：r“d:\b.txt”示例如下：

f = open(r"d:\b.txt","w")

打开方式有如下几种：

模式	描述
r	读 read模式
w	写 write模式。如果文件不存在则创建；如果文件存在，则重写新内容；
a	追加append模式。如果文件不存在则创建；如果文件存在，则在文件末尾追加内容
b	二进制binary模式（可与其他模式组合使用）
+	读、写模式（可与其他模式组合使用）

文本文件对象和二进制文件对象的创建：

1. 如果没有增加模式b，则默认创建的是文本文件对象，处理的基本单元是“字符”。
2. 如果是二进制模式b，则创建的是二进制文件对象，处理的基本单元是“字节”。

文本文件的写入

文本文件的写入一般就是三个步骤：

1. 创建文件对象
2. 写入数据
3. 关闭文件对象

我们首先创建一个小程序，体验一下文本文件的写入操作。

【操作】文本写入操作简单测试

f = open("d:/a.txt","a")  #d:/a.txt代表在d盘创建文件，"a"代表追加append追加内容模式
a = "hellow\nworld"       #打印的内容\n代表换行
f.write(a)                
f.close()

或者使用with上下文管理：

with open("d:/a.txt","a") as f:
  a = "hellow\nworld"
  f.write(a)

执行结果：

常用编码介绍

在操作文本文件时，经常会操作中文，这时候就经常会碰到乱码问题。为了让大家有能力解决中文乱码问题，这里简单介绍一下各种编码之间的关系。

常用编码之间的关系如下：

❤️老鸟建议

一般项目都会使用UTF-8。

中文乱码问题

当我们打印中文时，偶尔有乱码的时候：

#测试写入中文
f = open("b.txt","w")
f.write("尚学堂\n百战程序员\n")
f.close()

此时我们改变编码为GBK就可以： 

也可以从界面右下角进行改变 ：

write()/writelines()写入数据

write(a)：把字符串a写入到文件中

writelines(b)：把字符串列表写入文件中，不添加换行符

【操作】添加字符串列表数据到文件中

with open("bb.txt","w",encoding="utf-8") as f: 
#encoding="utf-8"指定使用utf-8编码，所以后面utf-8解码也不会乱码
    s = ["你好\n","世界\n"]          #打印列表不会自动添加换行符，所以手动添加
    f.writelines(s)                 #write()可以写入字符串，writelines()可以写入列表

close()关闭文件流

    由于文件底层是由操作系统控制，所以我们打开的文件对象必须显式调用close()方法关闭文件对象。当调用close()方法时，首先会把缓冲区数据写入文件(也可以直接调用flush()方法)，再关闭文件，释放文件对象。

    为了确保打开的文件对象正常关闭，一般结合异常机制的finally或者with关键字实现无论何种情况都能关闭打开的文件对象。

【操作】结合异常机制的finally，确保关闭文件对象

try:
    f = open('a.txt','a')
    s = 'hello，world'
    f.write(s)
except BaseException as e:  #出现异常则打印异常
    print(e)
finally:                    #无论如何，关闭文件流
    f.close()

with语句(上下文管理器)

     with关键字（上下文管理器）可以自动管理上下文资源，

不论什么原因跳出with块，都能确保文件正确的关闭，

并且可以在代码块执行完毕后自动还原进入该代码块时的现场。

可以看作是上一个知识点代码的简化版，不用再写f.close()

s = ["你好\n","世界\n"]
with open("d:/bb.txt","w") as f:
  f.writelines(s)

文本文件的读取

文件的读取一般使用如下三个方法：

1.read([size]) 从文件中读取size个字符，并作为结果返回。如果没有size参数，则读取整个文件。 读取到文件末尾，会返回空字符串。

【操作】 读取一个文件前4个字符

with open("a.txt","r") as f:    #"r"表示read读模式
  print(f.read(4))

【操作】文件较小，一次将文件内容读入到程序中

with open("b.txt","r") as f:
  print(f.read())

2.readline()

读取一行内容作为结果返回。读取到文件末尾，会返回空字符串

【操作】按行读取一个文件

with open("a.txt","r") as f:
  while True:
    line = f.readline()     #如果读完遗憾一行，会返回内容与空字符串
    if line:                #如果返回了空字符串则打印
      print(line,end="")
    else:
      break

【操作】使用迭代器（每次返回一行）读取文本文件

with open("a.txt","r") as f:
  for a in f:
    print(a,end="")

3.readlines()

文本文件中，每一行作为一个字符串存入列表中，返回该列表

【操作】为文本文件每一行的末尾增加行号

with open("a.txt","r") as f:   #读操作
  lines1 = f.readlines()
  lines2 = [lines1.rstrip()+'  #'+str(index)+'\n' for index,lines1 in zip(range(1,len(lines1)+1),lines1)]
#rstrip() 去掉右侧换行符      readlines返回的是一个列表，所以可以计算长度
with open('a.txt','w') as f:   #写操作
  f.writelines(lines2)

二进制文件的读取和写入

二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象，

不过，我们需要指定二进制模式（在w,a,r后面加个b），从而创建出二进制文件对象。例如：

f = open("a.txt", 'wb') #可写的、重写模式的二进制文件对象

f = open("a.txt", 'ab') #可写的、追加模式的二进制文件对象

f = open("a.txt", 'rb') #可读的二进制文件对象

创建好二进制文件对象后，仍然可以使用write()、read()实现文件的读写操作。

【操作】 读取图片文件，实现文件的拷贝

with open('a.png', 'rb')as srcFile,open("b.png","wb") as destFile:
  for line in srcFile:
    destFile.write(line)

文件对象的常用属性和方法

文件对象封装了文件相关的操作。在前面我们学习了通过文件对象对文件进行读写操作。本节我们详细列出文件对象的常用属性和方法，并进行说明。

文件对象的属性

属性	说明
name	返回文件的名字
mode	返回文件的打开模式
closed	若文件被关闭, 则返回True

文件对象的打开模式

模式	说明
r	读模式
w	写模式
a	追加模式
b	二进制模式（可与其他模式组合）
+	读写模式（可以其他模式组合）

文件对象的常用方法

方法名	说明
read([size])	从文件中读取size个字节或字符的内容返回。若省略[size]，则读取到文件末尾，即一次读取文件所有内容
readline()	从文本文件中读取一行内容
readlines()	把文本文件中每一行都作为独立的字符串对象，并将这些对象放入列表返回
write(str)	将字符串str内容写入文件
writelines(s)	将字符串列表s写入文件文件，不添加换行符
seek(offset [,whence])	把文件指针移动到新的位置，offset表示相对于whence的多少个字节的偏移量；offset：off为正往结束方向移动，为负往开始方向移动whence不同的值代表不同含义：0: 从文件头开始计算（默认值）1：从当前位置开始计算2：从文件尾开始计算
tell()	文件指针的当前位置
truncate([size])	不论指针在什么位置，只留下指针前size个字节的内容，其余全部删除；如果没有传入size，则当指针当前位置到文件末尾内容全部删除
flush()	把缓冲区的内容写入文件，但不关闭文件
close()	把缓冲区内容写入文件，同时关闭文件，释放文件对象相关资源

文件任意位置操作

 【示例】seek()移动文件指针示例

#e.txt的内容是：abcefghljklmn
with open("e.txt","r",encoding="utf-8") as f:
  print("文件名是：{0}".format(f.name))              #文件名是：e.txt
  print(f.tell())                                  #0
  print("读取的内容：{0}".format(str(f.readline()))) #读取的内容：abcdefghijklmn
  print(f.tell())                                  #14
  f.seek(3,0)
  print("读取的内容：{0}".format(str(f.readline()))) #读取的内容：defghijklmn

使用pickle序列化

序列化指的是：将对象转化成“串行化”数据形式，存储到硬盘或通过网络传输到其他地方。

反序列化是指相反的过程，将读取到的“串行化数据”转化成对象。

我们可以使用pickle模块中的函数，实现序列化和反序列操作。

Python中，一切皆对象，对象本质上就是一个“存储数据的内存块”。有时候，我们需要将“内存块的数据”保存到硬盘上，或者通过网络传输到其他的计算机上。这时候，就需要“对象的序列化和反序列化”。 对象的序列化机制广泛的应用在分布式、并行系统上。

序列化我们使用：

pickle.dump(obj, file) obj就是要被序列化的对象，file指的是存储的文件

pickle.load(file) 从file读取数据，反序列化成对象

【操作】将对象序列化到文件中

import pickle
with open("data.dat","wb") as f:  #二进制文件
  name = "高淇"
  age = 34
  score = [90,80,70]
  a = {'name':name,'age':age,'score':score} #将信息储存在a中

  pickle.dump(a,f)                          #将信息a序列化为文件f
 

【操作】将获得的数据反序列化成对象

import pickle
with open("data.dat","rb") as f:
  a = pickle.load(f)            #反序列化
  print(a)

CSV文件的操作

csv是逗号分隔符文本格式，常用于数据交换、Excel文件和数据库数据的导入和导出。

与Excel文件不同，CSV文件中：

• 值没有类型，所有值都是字符串
• 不能指定字体颜色等样式
• 不能指定单元格的宽高，不能合并单元格
• 没有多个工作表
• 不能嵌入图像图表

Python标准库的模块csv提供了读取和写入csv格式文件的对象。

我们在excel中建立一个简单的表格：

另存为csv(逗号分隔)，我们打开查看这个csv文件内容：

姓名,年龄,工作,薪水

高淇,18,程序员,50000

高老三,19,测试工程师,20000

高老五,20,人工智能开发,50000

csv.writer对象和csv文件写入

【操作】csv.writer对象写一个csv文件

import csv

headers = ["工号","姓名","年龄","地址","月薪"]
rows = [("1001","高淇",18,"西三旗1号院","50000"),("1002","高八",19,"西三旗1号院","30000")]

with open("b.csv", "w", newline='') as b:   #newline=''可以去回车
  b_csv = csv.writer(b)     #创建csv对象
  b_csv.writerow(headers)   #写入一行（标题）
  b_csv.writerows(rows)     #写入多行（数据）

csv.reader对象和csv文件读取

【操作】csv.reader对象于从csv文件读取数据

import csv
with open("b.csv") as a:
  a_csv = csv.reader(a)    #创建csv对象,它是一个包含所有数据的列表，每一行为一个元素
  headers = next(a_csv)    #获得列表对象，包含标题行的信息
  print(headers)
  for row in a_csv:        #循环打印各行内容
    print(row)

os和os.path模块

os模块

os模块可以帮助我们直接对操作系统进行操作。

我们可以直接调用操作系统的可执行文件、命令，直接操作文件、目录等等。

【示例】os.system调用windows系统的记事本程序

import os
os.system("notepad.exe")

【示例】os.system调用windows系统中ping命令 

import os
os.system("ping www.baidu.com")

os.startfile：直接调用可执行文件

【示例】运行安装好的微信

import os
os.startfile(r"C:\Program Files (x86)\Tencent\WeChat\WeChat.exe")

os模块-文件和目录操作

我们可以通过前面讲的文件对象实现对于文件内容的读写操作。如果，还需要对文件和目录做其他操作，可以使用os和os.path模块。

os模块下常用操作文件的方法

方法名	描述
remove(path)	删除指定的文件
rename(src,dest)	重命名文件或目录
stat(path)	返回文件的所有属性
listdir(path)	返回path目录下的文件和目录列表

os模块下关于目录操作的相关方法，汇总如下：

方法名	描述
mkdir(path)	创建目录
makedirs(path1/path2/path3/...)	创建多级目录
rmdir(path)	删除目录
removedirs(path1/path2...)	删除多级目录
getcwd()	返回当前工作目录：current work dir
chdir(path)	把path设为当前工作目录
walk()	遍历目录树
sep	当前操作系统所使用的路径分隔符

【示例】os模块：创建、删除目录、获取文件信息等

打印基本的信息

import os

print(os.name)           #windows-->nt    linux-->posix
print(os.sep)            #windows-->\     linux-->/
print(repr(os.linesep))  #windows-->\r\n  linux-->\n repr()用来显示字符串内容

a = '3'
print(a)
print(repr(a))           #repr可以显示数据信息

 #获取文件和文件夹的相关信息

import os

print(os.stat("my01.py"))

#关于工作目录的操作

import os
print(os.getcwd())  #获得当前工作目录
os.chdir("d:/")      #将当前的工作目录变成了d：/

#创建目录、删除目录 

import os

os.chdir("d:/")      #当前的工作目录就变成了d：/的根目录
os.mkdir("书籍")      #创建文件夹书籍
os.rmdir("书籍")      #删除文件夹书籍

 #创建多级目录

import os

os.makedirs("电影/港台/周星驰")
os.rename("电影","movie")        #改名

dirs = os.listdir("电影")
print(dirs)                     #打印文件夹李的内容

 os.path模块_常用方法

os.path模块提供了目录相关（路径判断、路径切分、路径连接、文件夹遍历）的操作

方法	描述
isabs(path)	判断path是否绝对路径
isdir(path)	判断path是否为目录
isfile(path)	判断path是否为文件
exists(path)	判断指定路径的文件是否存在
getsize(filename)	返回文件的大小
abspath(path)	返回绝对路径
dirname(p)	返回目录的路径
getatime(filename)	返回文件的最后访问时间
getmtime(filename)	返回文件的最后修改时间
walk(top,func,arg)	递归方式遍历目录
join(path,*paths)	连接多个path
split(path)	对路径进行分割，以列表形式返回
splitext(path)	从路径中分割文件的扩展名

#测试os.path常用方法
import os
import os.path

#################获得目录、文件基本信息######################
print(os.path.isabs("d:/a.txt"))  #是否绝对路径
print(os.path.isdir("d:/a.txt"))  #是否目录
print(os.path.isfile("d:/a.txt"))  #是否文件
print(os.path.exists("a.txt"))   #文件是否存在
print(os.path.getsize("a.txt"))   #文件大小
print(os.path.abspath("a.txt"))   #输出绝对路径
print(os.path.dirname("d:/a.txt")) #输出所在目录

########获得创建时间、访问时间、最后修改时间##########
print(os.path.getctime("a.txt"))  #返回创建时间
print(os.path.getatime("a.txt"))  #返回最后访问时间
print(os.path.getmtime("a.txt"))  #返回最后修改时间

################对路径进行分割、连接操作####################
path = os.path.abspath("a.txt")   #返回绝对路径
print(os.path.split(path))     #返回元组：目录、文件 ('C:\\Users\\Administrator\\PycharmProjects\\mypro_io\\test_os', 'a.txt')
print(os.path.splitext(path))    #返回元组：路径、扩展名 ('C:\\Users\\Administrator\\PycharmProjects\\mypro_io\\test_os\\a', '.txt')
print(os.path.join("aa","bb","cc")) #返回路径：aa/bb/cc的内容

walk()递归遍历所有文件和目录

os.walk() 方法是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。格式如下：

os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])

其中，top:是要遍历的目录。topdown：可选，

True，先遍历top目录再遍历子目录。

返回三元组（root、dirs、files）：

root：当前正在遍历的文件夹本身

dirs：一个列表，该文件夹中所有的目录的名字

files：一个列表，该文件夹中所有的文件的名字

【示例】使用walk()递归遍历所有文件和目录

import os
​
path = os.getcwd()
list_files = os.walk(path,topdown=False)
​
for root,dirs,files in list_files:
  for name in files:                #遍历文件
    print(os.path.join(root,name))
  for name in dirs:                 #遍历目录
    print(os.path.join(root,name))

若目录结构是：

运行结果：

shutil模块(拷贝和压缩)

shutil模块是python标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以做文件和文件夹的压缩、解压缩操作。

os模块提供了对目录或文件的一般操作。shutil模块作为补充，提供了移动、复制、压缩、解压等操作，这些os模块都没有提供。

【示例】实现文件的拷贝

import shutil
​
#copy文件内容
shutil.copyfile("a.txt","a_copy.txt")

【示例】实现递归的拷贝文件夹内容(使用shutil模块)

import shutil
#"音乐"文件夹不存在才能用。
shutil.copytree("电影","音乐",ignore=shutil.ignore_patterns("*.html","*.htm"))
#将文件夹电影复制，改名为音乐，ignore_patterns("*.html")代表不复制html类型的文件

shutil和zipfile模块_压缩和解压缩 

 【示例】实现将文件夹所有内容压缩(使用shutil模块)

import shutil
import zipfile
#将D盘文件夹a 下所有内容压缩成a_zip
shutil.make_archive("d:/a_zip","zip","d:/a")

【示例】将指定的多个文件压缩到一个zip文件 

#将1.txt与2.txt压缩为a.zip
z = zipfile.ZipFile("a.zip","w")    #w为write
z.write("1.txt")
z.write("2.txt")
z.close()                           #需要close关闭

【示例】实现将压缩包解压缩到指定文件夹(使用shutil模块)

import shutil
import zipfile

z = zipfile.ZipFile("a.zip","r")    #r为read
z.extractall("d:/")                 #设置解压的地址
z.close()                           #需要close关闭

 递归算法_目录树结构的展示

import os
import os.path

#递归遍历目录树
def my_print_file(path,level):
    child_files = os.listdir(path)              #返回path目录下的文件和目录列表

    #循环打印path目录下的文件和目录列表
    for file in child_files:
        file_path = os.path.join(path,file)      #join用来连接路径与文件，返回路径：path/file
        print('\t'*level+file_path[file_path.rfind(os.sep)+1:])
        #'\t'打印缩进，第一个file_path代表打印其里面的内容
        # file_path.rfind(os.sep)代表从file_path里面最后一个出现分割符/的位置开始打印
        if os.path.isdir(file_path):             #isdir判断file_path是否为路径
            my_print_file(file_path,level+1)     #是路径继续打印，缩进加1

my_print_file('电影',0)