python文件操作

一个完整的程序一般都包括数据的存储和读取；我们在前面写的程序数据都没有进行实际的存储，因此python解释器执行完数据就消失了。实际开发中，我们经常需要从外部存储介质（硬盘、光盘、U盘等）读取数据，或者将程序产生的数据存储到文件中，实现“持久化”保存。

1.文件操作的一些有关概念

1.1文本文件与二进制文件

按文件中数据组织形式，我们把文件分为文本文件和二进制文件两
大类

1. 文本文件
   文本文件存储的是普通“字符”文本，python默认为unicode 字符集（两个字节表示一个字符，最多可以表示：65536个），可以使用记事本程序打开。
2. 二进制文件
   二进制文件把数据内容用“字节”进行存储，无法用记事本打开。必须使用专用的软件解码。常见的有：MP4视频文件、MP3音频文件、JPG图片、doc文档等等。

1.2文件操作相关模块概述

名称	说明
io模块	文件流的输入和输出操作 input output
os模块	基本操作系统功能，包括文件操作
glob模块	查找符合特定规则的文件路径名
fnmatch模块	使用模式来匹配文件路径名
fileinput模块	处理多个输入文件
filecmp模块	用于文件的比较
csv模块	用于CSV文件处理
pickle和cPickle	用于序列化和反序列化
xml包	用于XML数据处理
bz2、gzip、zipfile、zlib、tarfile	用于处理压缩和解压缩文件(分别对应不同的算法)

2.创建文件对象

open() 函数用于创建文件对象，基本语法格式如下：

open(文件名[,打开方式])

如果只是文件名，代表在当前目录下的文件。文件名可以录入全路
径，比如： D:\a\b.txt
为了减少\ 的输入，可以使用原始字符串： r“d:\b.txt” 示例如下：
f = open(r"d:\b.txt",“w”)
打开方式有如下几种：

模式	描述
r	读模式
w	写模式。如果文件不存在则创建；如果文件存在，则重写新内容
a	追加模式。如果文件不存在则创建；如果文件存在，则在文件末尾追加内容
b	二进制binary模式，可与其他模式组合使用，例如’rb’表示二进制读模式

3.文本文件的写入

文本文件的写入一般就是三个步骤：

1. 创建文件对象
2. 写入数据
3. 关闭文件对象
   我们首先创建一个小程序，体验一下文本文件的写入操作。

# python的文件操作  
f = open(r'a.txt','a')  
s = 'is text'  
f.write(s)  
f.close()

3.1常用编码介绍

在操作文本文件时，经常会操作中文，这时候就经常会碰到乱码问题。为了让大家有能力解决中文乱码问题，这里简单介绍一下各种编码之间的关系。

编码方式	字符表示	兼容性
ASCII	7位表示1个字符，最高位为0	只能表示128个字符，不兼容
ISO8859-1	8位表示1个字符	兼容ASCII
Unicode	8位表示1个字符	兼容ASCII
GB2312	2个字节表示1个字符	变长编码
UTF-8	1-4个字节表示1个字符；英文1个字节，汉字3个字节	兼容ISO8859-1。英文1个字节，汉字2个字节
GBK	2个字节表示1个字符	兼容ISO8859-1
GB18030	1-4个字节表示1个字符	兼容ISO8859-1

3.2write()/writelines()写入数据

write(a) ：把字符串a 写入到文件中
writelines(b) ：把字符串列表写入文件中，不添加换行符
【操作】添加字符串列表数据到文件中

f = open(r'a.txt')  
r = ["first","second","third"]  
f.writelines(r)  
f.close()

3.3close()关闭文件流

由于文件底层是由操作系统控制，所以我们打开的文件对象必须显式调用close() 方法关闭文件对象。当调用close() 方法时，首先会把缓冲区数据写入文件(也可以直接调用flush() 方法)，再关闭文件，释放文件对象。
为了确保打开的文件对象正常关闭，一般结合异常机制的finally 或者with 关键字实现无论何种情况都能关闭打开的文件对象。

3.4with语句(上下文管理器)

with关键字（上下文管理器）可以自动管理上下文资源，不论什么原因跳出with块，都能确保文件正确的关闭，并且可以在代码块执行完毕后自动还原进入该代码块时的现场。

r = ["first","second","third"]  
with open(r'a.txt','w') as f:  
    f.writelines(r)

4.文件读取操作

1. read([size])
   从文件中读取size 个字符，并作为结果返回。如果没有size 参数，则读取整个文件。读取到文件末尾，会返回空字符串。
2. readline()
   读取一行内容作为结果返回。读取到文件末尾，会返回空字符串
3. readlines()
   文本文件中，每一行作为一个字符串存入列表中，返回该列表

with open(r"a.txt",) as f:  
    print(f.read(4))

4.1二进制文件的操作

二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象，不过，我们需要指定二进制模式，从而创建出二进制文件对
象。例如：
f = open(r"d:\a.txt", ‘wb’) #可写的、重写模式的二进制文件对象
f = open(r"d:\a.txt", ‘ab’) #可写的、追加模式的二进制文件对象
f = open(r"d:\a.txt", ‘rb’) #可读的二进制文件对象
创建好二进制文件对象后，仍然可以使用write() 、read() 实现文件的读写操作。
【操作】 读取图片文件，实现文件的拷贝

with open('logo1.png', 'rb')as
srcFile,open("ddd.png","wb") as destFile:
for line in srcFile:
destFile.write(line)

5.文件对象的常用属性和方法

文件对象封装了文件相关的操作。在前面我们学习了通过文件对象对文件进行读写操作。这里我们详细列出文件对象的常用属性和方法，并进行说明。

5.1文件对象的属性

属性	说明
name	返回文件的名字
mode	返回文件的打开模式
closed	若文件被关闭，则返回True

5.2文件对象的打开模式

模式	说明
读模式	用于读取文件内容
W	写模式，覆盖现有内容
a	追加模式，内容添加到文件末尾
b	二进制模式，可以与其他模式组合
+	读写模式，可以与其他模式组合使用

5.3文件对象常用方法

方法名	说明
read([size])	从文件中读取size个字节或字符的内容返回。若省略[size]，则读取到文件末尾，即一次读取文件所有内容
readline()	从文本文件中读取一行内容
readlines()	把文本文件中每一行都作为独立的字符串对象，并将这些对象放入列表返回
write(str)	将字符串str内容写入文件
writelines(s)	将字符串列表s写入文件，不添加换行符
seek(offset[,whence])	把文件指针移动到新的位置，offset表示相对于whence的多少个字节的偏移量；offset为正往结束方向移动，为负往开始方向移动。whence不同的值代表不同含义：0：从文件头开始计算（默认值），1：从当前位置开始计算，2：从文件尾开始计算
tell()	返回文件指针的当前位置
truncate([size])	不论指针在什么位置，只留下指针前size个字节的内容，其余全部删除；如果没有传入size，则当指针当前位置到文件末尾内容全部删除
flush()	把缓冲区的内容写入文件，但不关闭文件
close()	把缓冲区内容写入文件，同时关闭文件，释放文件对象相关资源

6.文件任意位置操作

#e.txt的内容是：abcefghljklmn
with open("e.txt","r",encoding="utf-8") as f:
print("文件名是：{0}".format(f.name)) #文
件名是：e.txt
print(f.tell()) #0
print("读取的内容：
{0}".format(str(f.readline()))) #读取的内容：
abcdefghijklmn
print(f.tell()) #14
f.seek(3,0)
print("读取的内容：
{0}".format(str(f.readline()))) #读取的内容：
defghijklmn

7.使用pickle序列化

序列化指的是：将对象转化成“串行化”数据形式，存储到硬盘或通过网络传输到其他地方。反序列化是指相反的过程，将读取到的“串行化数据”转化成对象。
我们可以使用pickle模块中的函数，实现序列化和反序列操作。
【操作】将对象序列化到文件中

import pickle
with open("data.dat","wb") as f:
name = "高淇"
age = 34
score = [90,80,70]
resume =
{'name':name,'age':age,'score':score}
pickle.dump(resume,f)

【操作】将获得的数据反序列化成对象

import pickle
with open("data.dat","rb") as f:
resume = pickle.load(f)
print(resume)

8.CSV文件的操作

csv是逗号分隔符文本格式，常用于数据交换、Excel文件和数据库数据的导入和导出。

8.1csv.reader对象和csv文件读取

【操作】csv.reader 对象于从csv文件读取数据

import csv
with open(r"d:\a.csv") as a:
a_csv = csv.reader(a) #创建csv对象,
它是一个包含所有数据的列表，每一行为一个元素
headers = next(a_csv) #获得列表对
象，包含标题行的信息
print(headers)
for row in a_csv: #循环打印各行内
容
print(row)

8.2csv.writer对象和csv文件写入

【操作】csv.writer 对象写一个csv文件

import csv
headers = ["工号","姓名","年龄","地址","月薪"]
rows = [("1001","高淇",18,"西三旗1号
院","50000"),("1002","高八",19,"西三旗1号
院","30000")]
with open(r"d:\b.csv","w") as b:
b_csv = csv.writer(b) #创建csv对象
b_csv.writerow(headers) #写入一行（标
题）
b_csv.writerows(rows) #写入多行（数
据）

9.os和os.path模块

os模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令，直接操作文件、目录等等。

9.1os模块-调用操作系统命令

os.system 可以帮助我们直接调用系统的命令
【示例】os.system 调用windows系统的记事本程序

import os
os.system("notepad.exe")

【示例】os.system 调用windows系统中ping命令

import os
os.system("ping www.baidu.com")

9.2os模块-文件和目录操作

我们可以通过前面讲的文件对象实现对于文件内容的读写操作。如果，还需要对文件和目录做其他操作，可以使用os 和os.path 模块。
os 模块下常用操作文件的方法：

方法名	描述
remove(path)	删除指定的文件
rename(src, dest)	重命名文件或目录
stat(path)	返回文件的所有属性
listdir(path)	返回path目录下的文件和目录列表
os 模块下关于目录操作的相关方法，汇总如下：

方法名	描述
mkdir(path)	创建目录
makedirs(path1/path2/path3/…)	创建多级目录
rmdir(path)	删除目录
removedirs(path1/path2…)	删除多级目录
getcwd()	返回当前工作目录：current work dir
chdir(path)	把path设为当前工作目录
Walk()	遍历目录树
sep	当前操作系统所使用的路径分隔符
【示例】os 模块：创建、删除目录、获取文件信息等

#测试os模块中，关于文件和目录的操作
import os
#打印基本的信息
print(os.name) #windows-->nt linux-->posix
print(os.sep) #windows-->\ linux-->/
print(repr(os.linesep)) #windows-->\r\n
linux-->\n
a = '3'
print(a)
print(repr(a)) #repr可以显示数据信息
#获取文件和文件夹的相关信息
print(os.stat("my01.py"))
#关于工作目录的操作
print(os.getcwd()) #获得当前工作目录
os.chdir("d:") #当前的工作目录就变成了d：的

9.3os.path模块

os.path 模块提供了目录相关（路径判断、路径切分、路径连接、文件夹遍历）的操作

方法	描述
isabs(path)	判断path是否绝对路径
isdir(path)	判断path是否为目录
isfile(path)	判断path是否为文件
exists(path)	判断指定路径的文件是否存在
getsize(filename)	返回文件的大小
abspath(path)	返回绝对路径
dirname§	返回目录的路径
getatime(filename)	返回文件的最后访问时间
getmtime(filename)	返回文件的最后修改时间
walk(top,func,arg)	递归方式遍历目录
join(path,*paths)	连接多个path
split(path)	对路径进行分割，以列表形式返回
splitext(path)	从路径中分割文件的扩展名
【示例】测试os.path 中常用方法

#测试os.path常用方法
import os
import os.path
#################获得目录、文件基本信息
######################
print(os.path.isabs("d:/a.txt")) #是否绝对
路径
print(os.path.isdir("d:/a.txt")) #是否目录
print(os.path.isfile("d:/a.txt")) #是否文件
print(os.path.exists("a.txt")) #文件是否
存在
print(os.path.getsize("a.txt")) #文件大小
print(os.path.abspath("a.txt")) #输出绝对
路径
print(os.path.dirname("d:/a.txt")) #输出所在
目录
########获得创建时间、访问时间、最后修改时间
##########
print(os.path.getctime("a.txt")) #返回创建
时间
print(os.path.getatime("a.txt")) #返回最后
访问时间
print(os.path.getmtime("a.txt")) #返回最后
修改时间
################对路径进行分割、连接操作
####################
path = os.path.abspath("a.txt") #返回绝对
【示例】列出指定目录下所有的.py 文件，并输出文件名
print(os.path.split(path)) #返回元
组：目录、文件
('C:\\Users\\Administrator\\PycharmProjects\
\mypro_io\\test_os', 'a.txt')
print(os.path.splitext(path)) #返回元
组：路径、扩展名
('C:\\Users\\Administrator\\PycharmProjects\
\mypro_io\\test_os\\a', '.txt')
print(os.path.join("aa","bb","cc")) #返回路
径：aa/bb/cc

9.4walk()递归遍历所有文件和目录

s.walk() 方法是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。格式如下：
os.walk(top[, topdown=True[, οnerrοr=None[, followlinks=False]]])
其中， top :是要遍历的目录。topdown ：可选， True ，先遍历top 目录再遍历子目录。返回三元组（ root 、dirs 、files ）：
root ：当前正在遍历的文件夹本身
dirs ：一个列表，该文件夹中所有的目录的名字
files ：一个列表，该文件夹中所有的文件的名字
【示例】使用walk() 递归遍历所有文件和目录

import os
path = os.getcwd()
list_files = os.walk(path,topdown=False)
for root,dirs,files in list_files:
for name in files:
print(os.path.join(root,name))
for name in dirs:
print(os.path.join(root,name))

10.shutil模块(拷贝和压缩)

shutil 模块是python标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以做文件和文件夹的压缩、解压缩操作。
os 模块提供了对目录或文件的一般操作。shutil 模块作为补充，提供
了移动、复制、压缩、解压等操作，这些os 模块都没有提供。
【示例】实现文件的拷贝

import shutil
#copy文件内容
shutil.copyfile("a.txt","a_copy.txt")

【示例】实现递归的拷贝文件夹内容(使用shutil 模块)

import shutil
#"音乐"文件夹不存在才能用。
shutil.copytree("电影/学习","音
乐",ignore=shutil.ignore_patterns("*.html","*
.htm"))

11.递归遍历目录下所有文件

import os
import os.path
#递归遍历目录树
def my_print_file(path,level):
child_files = os.listdir(path)
for file in child_files:
file_path = os.path.join(path,file)
print("\t"*level+file_path[file_path.rfind(
os.sep)+1:])
if os.path.isdir(file_path):
my_print_file(file_path,level+1)
my_print_file("电影",0)