IO(input and output)
- 定义
在内存中存在数据交换的操作认为是IO操作,比如和终端交互,和磁盘交互,和网络交互等。 - 程序的分类
- IO密集型程序:在程序执行中有大量的IO操作,而CPU运算较少。消耗CPU较少,耗时长。
- 计算密集型程序:程序运行中计算较多,IO操作相对较少。CPU消耗多,执行速度快,几乎没有阻塞。
文件
文件是保存在持久化存储设备(硬盘、U盘、光盘…)上的一段数据。从功能角度分为文本文件(打开后会自动解码成字符)、二进制文件(视频、音频等)。在Python里把文件视作一种类型的对象,类似之前学习过的其他类型。
字节串(bytes)
在python3中引入字节串的概念,与str不同,字节串以字节序列值表达数据,更方便用来处理二进制数据。因此在python3中字节串是常见的二进制数据展现方式。
- 普通的ASCII编码字符串可以在前面加b转换为字节串,例如:b"hello"
- 字符串转换为字节串方法:encode()
- 字节串转换为字符串方法:decode()
文件读写
对文件实现读写的基本操作步骤为:打开文件,读写文件,关闭文件
- 打开文件
file_object = open(file_name, access_mode=‘r’, buffering=-1)
- 功能:打开一个文件,返回一个文件对象。
- 参数:file_name——文件名;
access_mode——打开文件的方式,如果不写默认为‘r’;
具体打开方式包括:
r 以读方式打开,文件必须存在
w 以写方式打开,文件不存在则创建,存在清空原有内容
a 以追加模式打开
r+ 以读写模式打开,文件必须存在
w+ 以读写模式打开 (参见 w )
a+ 以读写模式打开 (参见 a )
rb 以二进制读模式打开(参见 r )
wb 以二进制写模式打开 (参见 w )
ab 以二进制追加模式打开 (参见 a )
rb+ 以二进制读写模式打开 (参见 r+ )
wb+ 以二进制读写模式打开 (参见 w+ )
ab+ 以二进制读写模式打开 (参见 a+ )
buffering——参数0表示无缓冲(直接写入磁盘中),1表示行缓冲(遇到换行符\n自动刷新缓冲区,写入磁盘中),如果大于1表示直接指明缓冲区大小。如果不写或者为负数表示使用系统默认缓冲(采用系统默认缓存需要缓冲区满后才能自动写入磁盘)。
缓冲:系统自动的在内存中为每一个正在使用的文件开辟一个缓冲区,从内存向磁盘输出数据必须先送到内存缓冲区,装满缓冲区再一起送到磁盘中去。从磁盘中读数据,则一次从磁盘文件将一批数据读入到内存缓冲区中,然后再从缓冲区逐个的将数据送到程序的数据区。
缓冲区:减少和磁盘的交互次数,提高磁盘读写效率。
注意:无论什么缓冲,当程序结束或者文件被关闭时都会将缓冲区内容写入磁盘。
- 返回值:成功返回文件流对象。失败得到IOError
- 读取文件
file_object.read([size])
用来直接读取字节到字符串中,最多读取给定数目个字节。如果没有给定size
参数(默认值为-1)或者size值为负,文件将被读取直至末尾。文件过大时建议在non-blocking模式下使用。
file_object.readline([size])
读取打开文件的一行(读取下个行结束符之前的所有字节)。然后整行,包括行结束符,作为字符串返回。和read()相同,它也有一个可选的size参数,默认为-1,代表读至行结束符。如果提供了该参数,那么在超过size个字节后会返回不完整的行(一直到换行符结尾)。
file_object.readlines([sizeint])
该方法并不像其它两个输入方法一样返回一个字符串。它会读取所有(剩余的)行然后把它们作为一个字符串列表返回。它的可选参数sizhint代表返回的最大字节大小。
文件对象本身也是一个迭代器,在for循环中可以迭代文件的每一行。
for line in f:
print(line)
- 写入文件
file_object.write(string)
功能与read()和readline()相反。它把含有文本数据或二进制数据块的字符串写入到文件中去。
file_object.writeLines(str_list)
和readlines()一样,writelines()方法是针对列表的操作,它接受一个字符串列表作为参数,将它们写入文件。行结束符并不会被自动加入,如果需要的话,必须在调动writelines()前给每行结尾加上行结束符。
- 关闭文件
打开一个文件后我们就可以通过文件对象对文件进行操作了,当操作结束使用close()关闭这个对象可以防止一些误操作,也可以节省资源。
file_object.close()
- with操作
python中的with语句使用于对资源进行访问的场合,保证不管处理过程中是否发生错误或者异常都会执行规定的“清理”操作,释放被访问的资源,比如有文件读写后自动关闭、线程中锁的自动获取和释放等。
with语句的语法格式如下:
with context_expression [as target(s)]:
with-body
比如:
with open('file.txt', 'r+') as f:
f.read()
...
通过with方法可以不用close(),因为with生成的对象在语句块结束后会自动处理,所以不需要close(),但是这个文件对象只能在with语句块内使用。
其他操作
刷新缓冲区
file_object.flush()
该函数调用后会进行一次磁盘交互,将缓冲区中的内容写入到磁盘中。通过调用flush()可以人为刷新缓冲
文件偏移量
- 定义
打开一个文件进行操作时系统会自动生成一个记录,记录中描述了我们对文件的一系列操作。其中包括每次操作到的文件的位置。文件的读写操作都是从这个位置开始进行的。文件偏移量代表文件的当前读写操作位置,随读写操作移动。(r,w方式打开文件此时偏移量在开头,以a方式打开此时偏移量在末尾) - 基本操作
f.tell()
功能:获取文件偏移量
f.seek(offset[,whence])
功能:移动文件偏移量位置
参数:offset字节代表相对于某个位置的偏移量。可以是负数表示向前移动。whence是基准位置的默认值为0,代表从文件开头算起,1代表从当前位置算起,2代表从文件末尾算起。
文件描述符
- 定义
系统中每一个IO操作都会分配一个整数作为编号(不会相同),该整数即这个IO操作的文件描述符。 - 获取文件描述符
f.fileno()
通过IO对象获取对应的文件描述符。
文件管理函数
【前提】import os
- 获取文件大小
os.path.getsize(file)
- 查看文件列表
os.listdir(dir)
- 查看文件是否存在
os.path.exists(file)
- 判断文件类型
os.path.isfile(file)判断是否是普通文件 / os.path.isdir(file)判断文件夹
- 删除文件
os.remove(file)