Python——文件处理(IO技术)
文本文件和二进制文件
按文件中数据组织形式,我们把文件分为文本文件和二进制文件两大类。
- 文本文件
文本文件存储的是普通“字符”文本,python默认为 unicode 字符集(两个字节表示一个字符,最多可以表示:65536 个),可以使用记事本程序打开。但是,像 word 软件编辑的文档不是文本文件。 - 二进制文件
二进制文件把数据内容用“字节”进行存储,无法用记事本打开。必须使用专用的软件解码。常见的有:MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等。
文件操作相关概述
名称 | 说明 |
---|---|
io模块 | 文件流的输入和输出操作 input output |
os模块 | 基本操作系统功能,包括文件操作 |
glob模块 | 查找符合特定规则的文件路径名 |
fnmatch模块 | 使用模式来匹配文件路径名 |
fileinput模块 | 处理多个输入文件 |
filecmp模块 | 用于文件的比较 |
cvs模块 | 用于 csv 文件处理 |
pickle和cPickle | 用于序列化和反序列化 |
xml包 | 用于 XML 数据处理 |
bz2、gzip、zipfile、zlib、tarfile | 用于处理压缩和解压缩文件(分别对应不同的算法) |
创建文件对象open()
open()函数用于创建文件对象,基本语法格式如下:
open(文件名[,打开方式])
如果只是文件名,代表在当前目录下的文件。文件名可以录入全路径,比如:
D:\a\b.txt。
为了减少“\”的输入,可以使用原始字符串:r“d:\b.txt”。示例如下:
f = open(r"d:\b.txt",“w”)
打开方式有如下几种:
模式 | 描述 |
---|---|
r | 读 read 模式 |
w | 写 write 模式。如果文件不存在则创建;如果文件存在,则重写新内容。 |
a | 追加 append 模式。如果文件不存在则创建;如果文件存在,则在文件末尾追加内容 |
b | 二进制 binary 模式(可与其他模式组合使用) |
+ | 读、写模式(可与其他模式组合使用) |
文本文件对象和二进制文件对象的创建:
如果我们没有增加模式“b”,则默认创建的是文本文件对象,处理的基本单元是 “字 符”。
如果是二进制模式“b”,则创建的是二进制文件对象,处理的基本单元是 “字节”。
常用编码介绍
常用编码之间的关系如下:
中文乱码问题
windows 操作系统默认的编码是 GBK,Linux 操作系统默认的编码是 UTF-8。当我们 用 open()时,调用的是操作系统打开的文件,默认的编码是 GBK。
- 方法一:在文件编辑区单击右键,选择 FileEncoding,选择 GBK 即可。(Reload in GBK)
- 方法二:
# 创建文件对象
f = open(r'b.txt','w',encoding='utf-8')
f.write('好好学习\n天天向上\n')
f.close() # 数据→解释器→操作系统→硬盘
write()/writelines()写入数据
- write(a):把字符串 a 写入到文件中。
- writelines(b):把字符串列表写入文件中,不添加换行符。
close()关闭文件流
由于文件底层是由操作系统控制,所以我们打开的文件对象必须显式调用close()方法关闭文件对象。当调用 close() 方法时,首先会把缓冲区数据写入文件(也可以直接调用flush()方法),再关闭文件,释放文件对象。
为了确保打开的文件对象正常关闭,一般结合异常机制的 finally 或者 with关键字 实现无论何种情况都能关闭打开的文件对象。
# 使用异常机制管理文件对象的关闭操作
try:
f = open(r'c.txt','w')
strs = ['aa\n','bb\n','cc\n']
f.writelines(strs)
except BaseException as e:
print(e)
finally:
f.close()
with 语句(上下文管理器)
with关键字(上下文管理器)可以自动管理上下文资源,不论什么原因跳出with块,都能确保文件正确的关闭,并且可以在代码块执行完毕后自动还原进入该代码块时的现场。
with open(r'd.txt','a') as f:
f.write('good good study')
文本文件的读取
- read([size])
从文件中读取size个字符,并作为结果返回。如果没有size参数,则读取整个文件。读取到文件末尾,会返回空字符串。 - readline()
读取一行内容作为结果返回。读取到文件末尾,会返回空字符串。 - readlines()
文本文件中,每一行作为一个字符串存入列表中,返回该列表
# 测试文件读取
with open(r'd.txt','r') as f:
str = f.read(4) # 读取文件的前4个字符,f.read()则是一次将文件内容读入到程序中
print(str)
# 使用迭代器(每次返回一行)读取文本文件
with open(r'b.txt','r',encoding='utf-8') as f:
for a in f:
print(a,end='')
# 为文本文件每一行的末尾增加行号
with open("b.txt","r",encoding="utf-8") as f:
lines = f.readlines()
lines = [line.rstrip() + " #" + str(index + 1) + "\n" for index, line in enumerate(lines)] # 推导式生成列表
with open("b.txt","w",encoding="utf-8") as f:
f.writelines(lines)
二进制文件的读取和写入
二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象,不过,我们需要指 定二进制模式,从而创建出二进制文件对象。例如:
f = open(r"d:\a.txt", ‘wb’) #可写的、重写模式的二进制文件对象
f = open(r"d:\a.txt", ‘ab’) #可写的、追加模式的二进制文件对象
f = open(r"d:\a.txt", ‘rb’) #可读的二进制文件对象
创建好二进制文件对象后,仍然可以使用 write()、read()实现文件的读写操作。
# 读取图片文件,实现文件的拷贝
with open('aa.gif','rb') as f:
with open('aa_copy.gif','wb') as w:
for line in f.readlines():
w.write(line)
print('图片拷贝完成!')
文件对象的常用属性和方法
文件对象的属性
属性 | 说明 |
---|---|
name | 返回文件的名字 |
mode | 返回文件的打开模式 |
closed | 若文件被关闭则返回 True |
文件对象的打开模式
模式 | 说明 |
---|---|
r | 读模式 |
w | 写模式 |
a | 追加模式 |
b | 二进制模式(可与其他模式组合) |
+ | 读写模式(可以其他模式组合) |
文件对象的常用方法
方法名 | 说明 |
---|---|
read([size]) | 从文件中读取 size 个字节或字符的内容返回。若省略[size],则读取到文件末尾,即一次读取文件所有内容 |
readline() | 从文本文件中读取一行内容 |
readlines() | 把文本文件中每一行都作为独立的字符串对象,并将这些对象放入列表返回 |
write(str) | 将字符串 str 内容写入文件 |
writelines(s) | 将字符串列表s写入文件中,不添加换行符 |
seek(offset[,whence]) | 把文件指针移动到新的位置,offset表示相对于whence的多少个字节的偏移量。 offset:为正往结束方向移动,为负往开始方向移动。 whence不同的值代表不同含义: 0:从文件头开始计算(默认值) 1:从当前位置开始计算 2:从文件尾开始计算 |
tell() | 返回文件指针当前位置 |
truncate([size]) | 不论指针在什么位置,只留下指针前size个字节的内容,其余全部删除; 如果没有传入size,则指针当前位置到文件末尾内容全部删除 |
flush() | 将缓冲区内容写入文件,但不关闭文件 |
close() | 将缓冲区内容写入文件,同时关闭文件,释放文件对象相关资源 |
文件任意位置操作
# seek()移动文件指针
with open('b.txt','r',encoding='utf-8') as f:
print('文件名是:{0}'.format(f.name))
print(f.tell()) # 打印指针当前位置
print('读取的内容:{0}'.format(str(f.readline())))
print(f.tell()) # 打印指针当前位置
f.seek(6) # 移动指针
print('读取的内容:{0}'.format(str(f.readline())))
运行结果:
使用pickle序列化
Python 中,一切皆对象,对象本质上就是一个“存储数据的内存块”。有时候,我们 需要将 “内存块的数据” 保存到硬盘上,或者通过网络传输到其他的计算机上。这时候,就需要 “对象的序列化和反序列化”。 对象的序列化机制广泛的应用在分布式、并行系统上。
序列化指的是:将对象转化成“串行化”数据形式,存储到硬盘或通过网络传输到其他地方。
反序列化是指相反的过程,将读取到的“串行化数据”转化成对象。
我们可以使用 pickle 模块中的函数,实现序列化和反序列操作。
序列化我们使用:
pickle.dump(obj, file) # obj就是要被序列化的对象,file指的是存储的文件
pickle.load(file) # 从 file 读取数据,反序列化成对象
import pickle
a1 = 'kk'
a2 = 123
a3 = [10,20,30]
with open('data.dat','wb') as f: # 将对象序列化到文件中
pickle.dump(a1,f)
pickle.dump(a2, f)
pickle.dump(a3, f)
with open('data.dat','rb') as f: # 将获得的数据反序列化成对象
b1 = pickle.load(f)
b2 = pickle.load(f)
b3 = pickle.load(f)
print(b1);print(b2);print(b3)
CSV文件的操作
CSV(Comma Separated Values) 是逗号分隔符文本格式,常用于数据交换、Excel 文件和数据库数据的导入和导出。
与 Excel 文件不同,CSV 文件中:
- 值没有类型,所有值都是字符串
- 不能指定字体颜色等样式
- 不能指定单元格的宽高,不能合并单元格
- 没有多个工作表
- 不能嵌入图像图表
csv文件的读取和写入
import csv
# csv文件的写入
with open('ff.csv','w')as f:
b_csv = csv.writer(f)
b_csv.writerow(['ID','姓名','年龄'])
b_csv.writerow(['1001','张三','20'])
c = (['1002','李四','22'],['1003','王五','21'])
b_csv.writerows(c)
# csv文件的读取
with open('ff.csv','r') as f:
a_csv = csv.reader(f)
# print(list(a_csv)) # 该方法仅执行一次,指针位于文件尾部
for row in a_csv:
print(row)
os和os.path模块
os 模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令,直接操作文件、目录等等。在系统运维的核心基础。
os模块-调用操作系统命令
- 调用 windows 系统的记事本程序
import os
os.system('notepad.exe')
- 调用windows系统中ping命令
import os
os.system('ping www.baidu.com')
- 调用windows系统中cmd命令
import os
os.system('cmd')
- 直接调用可执行的文件
import os
os.startfile(r"C:\Program Files (x86)\Tencent\WeChat\WeChat.exe")
os模块-文件和目录操作
os 模块下常用操作文件的方法:
方法名 | 描述 |
---|---|
remove(path) | 删除指定的文件 |
rename(src,dest) | 重命名文件或目录 |
stat(path) | 返回文件的所有属性 |
listdir(path) | 返回path目录下的文件和目录列表 |
os 模块下关于目录操作的相关方法:
方法名 | 描述 |
---|---|
mkdir(path) | 创建目录 |
makedirs(path1/path2/path3/… ) | 创建多级目录 |
rmdir(path) | 删除目录 |
removedirs(path1/path2…) | 删除多级目录 |
getcwd() | 返回当前工作目录:current work dir |
chdir(path) | 把 path 设为当前工作目录 |
walk() | 遍历目录树 |
sep | 当前操作系统所使用的路径分隔符 |
#coding=utf-8
# os 模块-文件和目录操作
import os
######获取文件和文件夹相关的信息######
print(os.name) # 获取操作系统的信息 windows→nt linux和unix→posix
print(os.sep) # 查看操作系统的分隔符 windows→\ linux和unix→/
print(repr(os.linesep)) # 查看操作系统的换行符 windows→\r\n linux和unix→\n\
print(os.stat('myos02.py')) # 查看文件信息
######关于工作目录的操作######
print(os.getcwd()) # 获取当前工作目录
os.chdir('d:') # 改变当前工作目录为d:
os.mkdir('ososos') # 创建目录(无改变当前工作目录时,默认在当前工作目录下创建)
######创建目录、创建多级目录、删除######
os.mkdir('ososos') # 创建目录
os.rmdir('ososos') # 删除目录 相对路径都是相对于当前的工作目录
os.makedirs('os01/os02/os03') # 创建多级目录
os.removedirs('os01/os02/os03') # 只能删除空目录
os.makedirs('../osos01/osos02/osos/03') #../指的是上一级目录
os.rename('os01','OOS01') # 修改目录名称
dirs = os.listdir('OOS01') # 只能获取一层子目录
print(dirs)
os.path 模块
os.path 模块提供了目录相关(路径判断、路径切分、路径连接、文件夹遍历)的操作。
方法 | 描述 |
---|---|
isabs(path) | 判断path是否绝对路径 |
isdir(path) | 判断path是否为目录 |
isfile(path) | 判断path是否为文件 |
exists(path) | 判断指定路径的文件是否存在 |
getsize(filename) | 返回文件的大小 |
abspath(path) | 返回绝对路径 |
dirname§ | 返回目录的路径 |
getatime(filename) | 返回文件的最后访问时间 |
getmtime(filename) | 返回文件的最后修改时间 |
walk(top,func,arg) | 递归方式遍历目录 |
join(path,*paths) | 连接多个path |
split(path) | 对路径进行分割,以列表形式返回 |
splitext(path) | 从路径中分割文件的拓展名 |
#coding=utf-8
# os.path 模块
import os
import os.path # from os import path
######判断######
print(os.path.isabs('myos01.py')) # 判断是否为绝对路径
print(os.path.isdir('myos01.py')) # 判断是否为目录
print(os.path.isfile('myos01.py')) # 判断是否为文件
print(os.path.exists('myos01.py')) # 判断文件是否存在
######获得文件的基本信息######
print(os.path.getsize('myos01.py')) # 获取文件大小
print(os.path.abspath('myos01.py')) # 获取绝对路径
print(os.path.dirname('E:\PycharmProjects\mypro_io\test_os\myos03.py')) # 获取文件目录
print(os.path.getctime('myos01.py')) # 获取文件创建时间
print(os.path.getatime('myos01.py')) # 获取文件最后访问时间
print(os.path.getmtime('myos01.py')) # 获取文件最后修改时间
######对路径的操作######
path = os.path.abspath('myos01.py')
print(os.path.split(path)) # 按目录和文件名切割
print(os.path.splitext(path)) # 按文件目录及文件名和后缀名分割
print(os.path.join('aa','bb','cc')) # 路径的连接
#coding=utf-8
# 列出工作目录下的所有.py文件,并输出文件名
import os
path = os.getcwd()
file_list = os.listdir(path)
for filename in file_list:
if filename.endswith("py"):
print(filename)
# 使用推导式完成同种效果
file_list2 = [filename for filename in os.listdir(path) if filename.endswith("py")]
for f in file_list2:
print(f)
walk()递归遍历所有文件
os.walk()方法:
返回一个3个元素的元组 (dirpath, dirnames, filenames)
- dirpath:要列出指定目录的路径
- dirnames:目录下的所有文件夹
- filenames:目录下的所有文件
#coding=utf-8
# walk()递归遍历所有文件
import os
all_files = []
path = os.getcwd()
list_files = os.walk(path)
for dirpath,dirnames,filenames in list_files:
for dir in dirnames: # 当前目录下的所有文件夹
all_files.append(os.path.join(dirpath,dir)) # 连接目录和文件名
for file in filenames: # 当前目录下的所有文件
all_files.append(os.path.join(dirpath,file))
# 打印所有的子目录和子文件
for file in all_files:
print(file)
shutil 模块(拷贝和压缩)
shutil 模块是 python 标准库中提供的,主要用来做文件和文件夹的拷贝、移动、删除等;还可以做文件和文件夹的压缩、解压缩操作。
os 模块提供了对目录或文件的一般操作。shutil 模块作为补充,提供了移动、复制、压缩、解压等操作,这些 os 模块都没有提供。
递归算法
递归是一种常见的解决问题的方法,即把问题逐渐简单化。递归的基本思想就是 “自己调用自己”,一个使用递归技术的方法将会直接或者间接的调用自己。
利用递归可以用简单的程序来解决一些复杂的问题。比如:斐波那契数列的计算、汉诺 塔、快排等问题。
递归结构包括两个部分:
定义递归头。 解答:什么时候不调用自身方法。如果没有头,将陷入死循环,也就 是递归的结束条件。
递归体。 解答:什么时候需要调用自身方法。
# 递归算法
num = 1
def a1():
global num # 如果要在函数内改变全局变量的值,使用global关键字声明
num += 1
print('a1')
if num<3:
a1() # 自己调用自己
a1()
#coding=utf-8
# 使用递归计算n的阶乘
n = int(input('请输入一个数字,计算阶乘:'))
def factorial(n):
if n==1:
return n
else:
return n*factorial(n-1)
print(factorial(n))
#coding=utf-8
# 递归打印所有的目录和文件
import os
all_files = []
def getAllFiles(path,level):
childFiles = os.listdir(path)
for file in childFiles:
filepath = os.path.join(path,file)
if os.path.isdir(filepath): # 当下一层是目录时,进入目录遍历
getAllFiles(filepath,level+1)
all_files.append('\t'*level+filepath)
getAllFiles('test_os',0)
for f in reversed(all_files):
print(f)