Python学习随笔---IO编程

IO编程概述

1.IO在计算机中指Input/Output，即输入和输出。

    计算机往外发送数据是Output，如浏览器向服务器发送请求；

    计算机接受数据是Input，如浏览器接受服务器发送过来的数据。

2.在IO编程中，Stream（流）是一个很重要的概念，又称为类文件对象，可以把流想象成一个水管，数据就是水管里面的水，但是只能单向流动。InputSteam就是数据从外面（磁盘，网络）流进内存，Output Stream就是数据从内存流到外面去。

3.CPU和内存的速度远高于外设的速度，所以，IO编程中存在速度严重不匹配的问题，有两种方式可以用来解决这个问题，即常说的同步IO和异步IO。

    同步IO：CPU等待，程序暂停执行，等当前任务完成之后再去执行后续任务；

    异步IO：CPU不等待，当前任务继续执行，同时，后续代码也会接着执行；

    相对来说，使用异步IO编写程序性能远高于同步IO，但异步IO编程模式复杂，有多种实现模式，如回调模式，轮询模式等。

4.读写文件是最常见的IO操作，Python内置了读写文件的函数，用法和C是兼容的。

 

打开文件

1. open()函数用来打开文件，语法如下：

       open('文件路径','模式参数(可选)','文件缓冲(可选)',...)

2. open函数中模式参数的常用值：

 

值	描述
‘r’	读模式
‘w’	写模式
‘a’	追加模式
‘b’	二进制模式（可添加到其他模式中使用）
‘+’	读/写模式（可添加到其他模式中使用）

    注：'b'模式改变处理文件的方法。参数'rb'可以用来读取一个二进制文件。在使用二进制模式时，python会原样给出文件中的内容，但文本模式下则不一定。唯一需要注意的是标准化换行符，python中的换行符是'\n',但windows系统中换行符是'\r\n'，python在这里做了一些自动转换，以便于程序跨平台运行。

3.open函数的第三个参数控制着文件的缓冲。

    如果参数是0（或者是False），I/O就是无缓冲的，所有的读写操作都直接针对硬盘；

    如果参数是1（或者是True），I/O就是有缓冲的，意味着python使用内存来代替硬盘，让程序更快，只有使用flush或close时才会更新硬盘上的数据；大于1的数字代表缓冲区的大小（单位是字节），-1或者任意负数代表使用默认的缓冲区大小。

4.要读取非utf-8编码的文件时，需要给open()函数传入encoding参数，如，读取gbk编码的文件时，代码如下：

>>>r = open('test.txt','r',encoding='gbk')
>>>r.read()

5.遇到一些编码不规范的文件时，可能会遇到UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符，这时，open()函数还接收了一个errors参数，表示遇到编码错误后如何处理。最简单的方式是直接忽略：

>>>r = open('test.txt','r',encoding='gbk',errors='ignore')

 

基本的文件方法

1.用read()方法可以一次性读取文件的全部内容。Python把内容读到内存，用一个str对象表示；

   若文件过大，可以反复调用read(size)，每次最多读取size个字节的内容；

   调用readline()可以每次读取一行的内容；

   调用readlines()一次读取所有内容并按行返回list；

   文件读取完之后需调用close()方法关闭，原因在于文件对象会占用操作系统的资源，且操作系统同一时间能打开的文件数量也是有限的。

2.用write()方法来写入文件；

   writelines方法和readlines相反：传给它一个字符串的列表（实际上任何序列或者可迭代的对象都行），它会把所有的字符串写入文件或流；

   文件写完之后需调用close()方法。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放入内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩余的数据丢失了。

3.由于文件读写时都有可能产生IOError，一旦出错，后面的close()方法就不会调用。所有，为了保证无论是否出错都能正确的关闭文件，我们可以用try...finally来实现：

try:
    f = open('test.txt','r')
    print(f.read())
finally:
    if f:
        f.close()

但这种写法比较繁琐，Python引入了with语句自动调用close()方法:

with open('test.txt','r') as f:
    print(f.read())

4.Python中操作文件和目录的函数一部分在os模块中，一部分在os.path中。

5.在程序运行的过程中，所有的变量都是存在内存中，可以随时修改变量，但程序运行结束后，操作系统会收回变量所占用的内存，此时，如果修改的变量没有被保存到磁盘，下次运行程序是，变量又会被初始化。

   我们把变量从内存中变成可存储或传输的过程称为序列化，在Python中被称为picking。序列化之后，就可以把序列化后的内容存入磁盘或通过网络传输到别的机器上；

   反过来，把变量内容从序列化的对象重新读到内存里被称为反序列化，即unpicking。

6.Python提供了pickle模块来实现序列化，但为了确保保存数据的高可用性，最好还是序列化为各编程语言通用的json格式。

 

 

 

 

 

（注：本文仅为个人学习笔记）