Pyton IO编程

IO编程简介

  • IO指input/output,也就是输入和输出
  • 同步IO:同步,等第一件事情干完再干其他事情
  • 异步IO:异步,当第一件事情需要等待时,一边等待一边干另一件事

文件读写

详见http://www.runoob.com/python/python-files-io.html

  • 读写文件是最常见的IO操作
  • 读写文件原理
    • 操作系统不允许普通程序直接操作磁盘
    • 所以读写文件就是请求操作系统打开一个文件对象(文件描述符)
    • 然后通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这个文件对象(写文件)
  • 读文件
    • 使用open()函数,传入文件名和标识符,可以打开文件
      • f = open(’/users/test.txt’,‘r’)
      • 标识符’r’表示读
      • 标识符可不填,默认为r
    • 如果文件不存在,open()函数会抛出IOError的错误
    • 如果文件打开成功,调用read()方法可以一次读取文件的全部内容,python把文件读到内存,用一个str对象表示
      • f.read()
    • 最后一步是调用close()方法关闭文件
      • 文件使用完必须关闭,因为文件对象会占用操作系统的资源,并且同一时间打开的文件数量是有限的
      • f.close()
      • 由于文件读写时有可能产生IOError,一旦出错后面的f.close()不会被调用,所以可以使用try…finally实现无论是否出错都关闭文件
      • 但是每次都这样写太繁琐,所以python引入了with语句来自动调用close()方法
        with open(’/path/to/file’, ‘r’) as f:
        print(f.read())
        不必再调用f.close()方法
    • 读文件方法比较
      read()方法,一次读取所有内容
      read(size)方法,每次最多读取size个字节的内容
      readline()方法,可以每次读取一行内容
      readlines()方法,一次读取所有内容,并按行返回list
  • file-like Object
    • 像open()函数返回的这种有个read()方法的对象,在Python中统称为file-like Object
    • 除了file外,还可以是内存的字节流,网络流,自定义流等等
    • file-like Object不要求从特定类继承,只要写个read()方法就行
    • StringIO就是在内存中创建的file-like Object,常用作临时缓冲
  • 二进制文件
    • 默认读取的是以UTF-8编码的文本文件,如果要读取二进制文件,需要使用’rb’模式打开文件
      f.open(’/users/test.jpg’, ‘rb’)
      f.read() #返回十六进制表示的字节
  • 字符编码
    • 读取非utf-8编码的文本文件,需要给open()函数传入encoding参数
      f = open(’/Users/michael/gbk.txt’, ‘r’, encoding=‘gbk’)
    • 编码不规范的文件会报UnicodeDecodeError,因为文件中可能加载了一些非法编码的字符,open()函数,还解说errors参数,表示遇到编码错误的处理方式
      f = open(’/Users/michael/gbk.txt’, ‘r’, encoding=‘gbk’, errors=‘ignore’)#ignore表示忽略
  • 写文件
    • 和读文件类型,不过传入的标识符为’w’或者’wb’表示写文本文件或者写二进制文件
      f = open(’/Users/michael/test.txt’, ‘w’)
    • 然后调用write()方法进行写入
      f.write(‘Hello, world!’)
    • 可以反复调用write()写入文件,但是必须要调用f.close()来关闭文件
      写入文件时,系统不是立刻写入磁盘,而是放到内存缓存起来,空闲的时候再慢慢写入
      只有调用close()方法时,才会全部写入
    • 要写入特定编码的文本文件,请给open()函数传入encoding参数,将字符串自动转换成指定编码
    • 以’w’模式写入文件时,如果文件已存在,会直接覆盖(相当于删掉后新写入一个文件)。如果我们希望追加到文件末尾可以传入’a’以追加(append)模式写入
      在这里插入图片描述

StringIO和BytestIO

  • StringIO
    • 数据读写不一定是文件,也可以在内存中读写
      StringIO就是在内存中读写str
    • 把str写入StringIO,需要先创建一个StringIO,然后像文件一样写入即可
      from io import StringIO
      f = StringIO()#创建StringIO对象
      f.write(‘nihao’)#写入
      print(f.getvalue())#获取写入的str
    • 读取StringIO,可以先初始化StringIO,然后像读文件一样读取
      from io import StringIO
      f = StringIO(‘Hello!\nHi!\nGoodbye!’)#初始化StringIO
      print(f.read())
  • BytesIO
    • StringIO操作的只能是str,如果要操作二进制数据,就需要使用BytesIO
    • 写入的不是str,而是经过UTF-8编码的bytes
    • 使用方法和和StringIO类似

操作文件和目录

序列化

  • 简介
    • 在程序运行的过程中,所有的变量都是在内存中,一旦程序结束,变量所占用的内存就被操作系统全部回收。
    • 我们把变量从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling
    • 序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。
    • 反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即unpickling。
  • Python提供了pickle模块来实现序列化
    • pickle.dumps()方法把任意对象序列化成一个bytes,然后,就可以把这个bytes写入文件。
    • 或者用另一个方法pickle.dump()直接把对象序列化后写入一个file-like Object:
    • 用pickle.loads()方法反序列化出对象,也可以直接用pickle.load()方法从一个file-like Object中直接反序列化出对象
  • json
    • 如果我们要在不同的编程语言之间传递对象,就必须把对象序列化为标准格式,比如XML,但更好的方法是序列化为JSON,因为JSON表示出来就是一个字符串,可以被所有语言读取,也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式,并且比XML更快,而且可以直接在Web页面中读取,非常方便。
    • Python内置的json模块提供了非常完善的Python对象到JSON格式的转换
      dumps()方法返回一个str,内容就是标准的JSON。类似的,dump()方法可以直接把JSON写入一个file-like Object
      用loads()或者对应的load()方法,前者把JSON的字符串反序列化,后者从file-like Object中读取字符串并反序列化
  • 小结
    • Python语言特定的序列化模块是pickle,但如果要把序列化搞得更通用、更符合Web标准,就可以使用json模块。
    • json模块的dumps()和loads()函数是定义得非常好的接口的典范。当我们使用时,只需要传入一个必须的参数。但是,当默认的序列化或反序列机制不满足我们的要求时,我们又可以传入更多的参数来定制序列化或反序列化的规则,既做到了接口简单易用,又做到了充分的扩展性和灵活性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值