第八章 文章操作（IO技术）
一个完整的程序一般都包括数据的存储和读取，在前面写的程序的数据都没有进行实际的存储，因此python解释器执行完数据就消失了。实际开发中，经常需要从外部存储介质（硬盘、光盘、U盘等）读取数据，或者将程序产生的数据存储到文件中，实现“持久化”保存。
文本文件和二进制文件
按文件中数据组织形式，我们把文件分为文本文件和二进制文件两大类。
- 文本文件
文本文件存储的是普通“字符”文本，默认为unicode字符集，（两个字节表示一个字符，最多可以表示：65536个）可以使用记事本打开。但是。像word软件编辑的文档不是文本文件。
- 二进制文件
二进制文件把数据内容用“字节”进行存储，无法用记事本打开，必须使用专用的软件解码。常见的有：MP4视频文件、MP3音频文件、JPG图片、doc文档等等
文件操作相关模块概述
Python标准库中，如下是文件操作相关的模块：
| 名称 | 说明 |
| io模块 | 文件流的输入和输出操作 |
| Os模块 | 基本操作系统功能，包括文件操作 |
| Glob模块 | 查找符合特定规则的文件路径名 |
| Fnmatch模块 | 使用模式来匹配文件路径名 |
| Fileinput模块 | 处理多个输入文件 |
| Filecmp模块 | 用于文件的比较 |
| Csv模块 | 用于csv文件处理 |
| Pickle和cpickle | 用于序列化和反序列化 |
| Xml包 | 用于xml数据处理 |
| Bz2、gzip、zipfile、zlib、tarfile | 用于处理压缩和解压缩文件（分别对应不同算法） |
创建文件对象open()
open()函数用于创建文件对象，基本语法格式如下：
open(文件名【，打开方式】)
如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如：D:\a\b.txt.
为了减少“\”的键入，可以使用原始字符串：r”d:\b.txt”.示例如下：
f = open(r”d:\b.txt:”,”a”)
打开方式有如下几种：
| 模式 | 描述 |
| r | 读模式 |
| w | 写模式。如果文件不存在则创建；如果文件存在，则重写新内容 |
| a | 追加模式。如果文件不存在则创建；如果文件存在，则在文件末尾追加内容 |
| b | 二进制模式（可与其他模式组合使用） |
| + | 读、写模式（可与其他模式组合使用） |
文本文件对象和二进制文件对象的创建：
如果我们没有增加“b”，则默认创建的是文本文件对象，处理的基本单元的是“字符”。如果是二进制模式“b”,则创建的是二进制文件对象，处理的基本单元的是“字节”。
文本文件的写入
基本的文件写入操作
文本文件的写入一般就是三个步骤：
- 创建文件对象
- 写入数据
- 关闭文件对象
文件写入操作简单测试
f = open("a.txt","a")
s = "尚学堂\n百战程序员\n"
f.write(s)
f.close()
文件操作完一定要关闭
常见编码介绍
在操作文本文件时，经常会操作中文，这时候就经常会碰到乱码问题，为了让大家有能力解决中文乱码问题，这里介绍一下各种编码之间的关系。
常见编码之间的关系如下：
ASCII
全称为American Standard Code for Information Interchange,美国信息交换标准代码，这是世界上最早最通用的单字节编码系统，主要用来显示现代英语及其他西欧语言。有27(128个字符：包含大写字母、小写字母以及阿拉伯数字、字符)
ISO8859-1
ISO-8829-1又称Latin-1.是一个8位单字节字符集，它把ASCII的最高位也利用起来，并兼容了ASCII,新增的空间是128，但它并没有完全用完。
在ASCII编码之上又增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号，它是向下兼容ASCII编码
GB2312,GBK、GB18030
。。。。
Python编码默认unicode,直接转UTF-8会报错，可以通过使用以下方式设置编码为UTF-8
close()关闭文件流
由于文件底层是由操作系统控制，所以打开的文件对象必须显式调用close()方法关闭对象，当调用close()方法时，首先会把缓冲区数据写入文件（也可以直接调用flush()方法），再关闭文件，释放文件对象。
为了确保打开文件对象正常关闭，一般结合异常机制的finally或者with关键字实现无论何种情况都能关闭打开的文件对象。
【操作】结合异常机制finally确保关闭文件对象
try:
f = open(r"my01.txt","a")
str = "wrq"
f.write(str)
except BaseException as e:
print(e)
finally:
f.close()
write()/writelines()写入数据
write(a):把字符串a写入到文件中
writeline(b):把字符串列表写入文件中，不添加换行符
【操作】添加字符串列表数据到文件中
f = open(r"d:\bb.txt","w",encoding = "utf-8")
s = ["高淇\n","高老三\n","高老四\n"]
f.writelines(s)
f.close()
# close()关闭文件流
try:
f = open(r"my01.txt","a")
str = "gaoqi"
f.write(str)
except BaseException as e :
print(e)
finally:
f.close()
with语句（上下文管理器）
with关键字（上下文管理器）可以自动管理上下文资源，不论什么原因跳出with块，都能确保文件正常的关闭，并且可以在代码块执行完毕后自动还原进入该代码块时的现场
s = ["高淇\n","高老三\n","高老五\n"]
with open(r"d:\bb.txt","w") as f:
f.writelines(s)
文件文本的读取
文件的读取一般使用如下三个方法：
- read([size])
从文件中读取size个字符，并作为结果返回。如果没有size参数，则读取整个文件。读取到文件末尾，会返回空字符串。
- readline()
读取一行内容作为结果返回。读取到文件末尾，会返回空字符串。
- readlines()
文本文件中，每一行作为一个字符串存入列表中，返回该列表
【操作】读取一个文件前4个字符
# 文本文件的读取
# 读取一个文件前4个字符
with open(r"bb","r",encoding="utf-8") as f:
print(f.read(4))
# 文本文件的读取/文件较小，读取一行，会返回字符串
with open(r"d:\bb.txt","r") as f:
print(f.read())
# 按行读取一个文件
with open(r"b","r") as f:
while True:
fragment = f.readline()
if not fragment:
break
# 使用迭代器（每次返回一行）读取文本文件
with open(r"d:\bb.txt","r") as f:
for a in f:
print(a,end="")
# 加入行号
a = ["我love u!\n","尚学堂\n","百战程序员\n"]
b =enumerate(a)
print(a)
print(list(b))
#推导式形成列表
c = [temp.rstrip()+"#"+str(index) for index,temp in enumerate(a)]
print(c)
# 读取
with open("e.txt","r",encoding="utf-8") as f:
lines = f.readline()
lines = [ line.rstrip()+"#" +str(index) for index,line in enumerate(lines)]
# 写入
with open ("e.txt","w",encoding="utf-8") as f:
f.writelines(lines)
二进制文件的读取和写入
二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象，我们需要指定二进制模式，从而创建出二进制文件对象。例如：
# 可写的、重写模式的二进制文件对象
f = open(r"d:\a.txt",'wb')
# 可写的、追加模式的二进制文件对象
f = open(r"d:\a.txt",'ab')
# 可读的二进制文件对象
f = open(r"d:\a.txt",'rb')
# 读取图片文件，实现文件的拷贝
with open('aa.gif','rb') as f:
with open('aa_copy.gif','wb') as w:
for line in f.readlines():
w.write(line)
print('图片拷贝完成！')
文件对象的常用属性和方法
文件对象封装了文件相关的操作
文件对象的属性
| 属性 | 说明 |
| name | 返回文件的名字 |
| mode | 返回文件的打开模式 |
| closed | 若文件被关闭则返回True |
文件对象的打开模式
| 模式 | 说明 |
| r | 读模式 |
| w | 写模式 |
| a | 追加模式 |
| b | 二进制模式 |
| + | 读写模式 |
文件对象的常用方法
# 测试
with open("e.txt","r",encoding="utf-8") as f:
print("文件名是：{0}".format(f.name)) #打印文件名
print(f.tell()) #打印指针位置
print("读取的内容：{0}".format(str(f.readline())))
print(f.tell())
f.seek(0)
print("读取的内容：{0}".format(str(f.readline())))
f.seek(3)
print("读取的内容：{0}".format(str(f.readline())))
结果：
文件名是：e.txt
0
读取的内容：我love u! #1
15
读取的内容：我love u! #1
读取的内容：love u! #1
使用pickle序列化
Python中，一切皆对象，对象本质上就是一个“存储数据的内存块”。有时候，需要将“内存块的数据”保存到硬盘上，或者通过网络传输到其他计算机上，就需要“对象的序列化和反序列化”。对象的序列化机制广泛的应用在分布式、并行系统上。
序列化指的是：将对象转化为“串行化”数据形式，存储到硬盘或通过网络传输到其他地方。反序列化是指相反的过程，将读取到“串行化数据”转化成对象。
我们可以使用pickle模块中的函数，实现序列化和反序列操作。
序列化使用：
pickle.dump(obj.file) obj就是要被序列化的对象，file指的是存储的文件
pickle.load(file) 从file读取数据，反序列化成对象
import pickle
with open(r"d:\data.dat","wb") as f:
a1 = "高淇"
a2 = 234
a3 = [20,30,40]
pickle.dump(a1,f)
pickle.dump(a2,f)
pickle.dump(a3,f)
CSV文件的操作
csv是逗号分隔符文本格式，常用于数据交换、Excel文件和数据库数据的导入和导出、与EXcel文件不同，CSV文件中：
·值没有类型，所有值都是字符串
·不能指定字体颜色等样式
·不能指定单元格的宽高，不能合并单元格
·没有多个工作表
·不能嵌入图像图表
Python标准库的模块csv提供了读取和写入csv格式文件的对象
# 测试csv文件的读取和写入
import csv
with open("dd.csv","r") as f:
a_csv = csv.reader(f)
print(list(a_csv))
遍历：
# 测试csv文件的读取和写入
import csv
with open("dd.csv","r") as f:
a_csv = csv.reader(f)
for row in a_csv:
print(row)
with open("ee.csv","w") as f:
b_csv = csv.writer(f)
b_csv.writerow["ID","姓名","年龄"]
os和os.path模块
os模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令，直接操作文件、目录等等。在
- os.system调用windows系统的记事本程序
- # os.system调用windows系统的命令
# os.system调用windows系统的记事本程序
import os
os.system("notepad.exe")
# os.system调用windows系统中ping命令
import os
os.system("ping www.baidu.com")
OS模块-文件和目录操作
可以通过文件对象对文件内容进行读写操作。如果，需要对文件和目录进行做其他操作，可以使用os和os.path模块。
#####获取文件和文件夹相关的信息
import os
print(os.name) #window-nt;linux-posix
print(os.sep) #window-\ ,Linux和unix-/
print(repr(os.linesep)) #window-\r\n Linux-\n\
print(os.stat("e.txt")) #获取指定文件的相关信息
#######关于工作目录的操作
print(os.getcwd())
os.mkdir("书籍")
os.chdir("d:") #改变工作目录
os.rmdir("书籍") #删除文件
os.makedirs("电影/港台/周星驰") #创建多级目录
os.removedirs("电影/港台/周星驰") #删除多级目录
（只能删除空目录）
#列出指定文件下所有的py文件
import os
path = os.getcwd()
file_list = os.listdir(path)
for filename in file_list:
if filename.endswith("py"):
print(filename)
print("###########")
file_list2 = [filename for filename in os.listdir(path) if filename.endswith("py")]
for f in file_list2:
print(f)
walk()递归遍历所有文件和目录
os.walk()方法：
返回一个3个元素的元组，（dirpath,dirnames,filenames）,
- dirpath:要列出指定目录的路径
- dirnames：目录下的所有文件夹
- filenames: 目录下的所有文件
- # os模块-walk遍历操作
import os
path = os.getcwd()
list_files = os.walk(path)
all_files = [] #找个盒子放进去
for dirpath,dirnames,filenames in list_files:
for dir in dirnames:
all_files.append(os.path.join(dirpath,dir))
for file in filenames:
all_files.append(os.path.join(dirpath,dir))
#打印所有的子目录和子文件
for file in all_files:
print(file)
shutil模块（拷贝和压缩）
shutil模块是python标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等，还可以做文件和文件夹的压缩、解压缩操作。
os模块提供了对目录或文件的一般操作。shutil模块作为补充，提供了移动、复制、压缩、解压等操作，这些os模块都没有提供。
# shutil模块（拷贝和压缩）
import shutil
shutil.copyfile("e.txt","1_copy.txt") #copy文件
shutil.copytree("movie/港台","电影") #"电影”目录不存在时才可以正常拷贝
递归算法原理：
# 递归算法原理展示
def factorial(n):
if n==1:
return n
else:
return n*factorial(n-1)
print(factorial(5))
最终结果：120
#递归打印所有目录和文件
import os
def getAllFiles(path):
childFiles = os.listdir(path)
for file in childFiles:
filepath = os.path.join(path,file)
if os.path.isdir(filepath):
getAllFiles(filepath)
print(filepath)
getAllFiles("书籍")
扫一扫
914
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
