Python学习笔记：IO编程

最新推荐文章于 2024-03-24 00:23:41 发布

SetsunaMeow

最新推荐文章于 2024-03-24 00:23:41 发布

阅读量388

点赞数 2

分类专栏： Python 文章标签： Python

本文链接：https://blog.csdn.net/lrxcmwy2/article/details/85262593

版权

Python 专栏收录该内容

10 篇文章 1 订阅

订阅专栏

Python学习笔记：IO编程

学自廖雪峰巨佬的Python3教程：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431917590955542f9ac5f5c1479faf787ff2b028ab47000

1.由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。IO编程中，Stream（流）是一个很重要的概念，可以把流想象成一个水管，数据就是水管里的水，但是只能单向流动。Input Stream就是数据从外面（磁盘、网络）流进内存，Output Stream就是数据从内存流到外面去。对于浏览网页来说，浏览器和新浪服务器之间至少需要建立两根水管，才可以既能发数据，又能收数据。

第一种是CPU等着，也就是程序暂停执行后续代码，等100M的数据在10秒后写入磁盘，再接着往下执行，这种模式称为同步IO；另一种方法是CPU不等待，只是告诉磁盘，“您老慢慢写，不着急，我接着干别的事去了”，于是，后续代码可以立刻接着执行，这种模式称为异步IO。很明显，使用异步IO来编写程序性能会远远高于同步IO，但是异步IO的缺点是编程模型复杂。这章讨论的IO编程都是同步模式，异步IO会在后面的服务器端程序开发时学习。

2.文件读写

使用open函数传入文件名路径和标识符r（表示读）来打开文件

>>> f = open('/Users/michael/test.txt', 'r')

如果文件不存在，就会抛出一个IOError错误，如果文件打开成功，就可以调用read()方法一次性读取文件的全部内容到内存，用str对象表示，最后一步是调用close()方法关闭文件，文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的。

由于文件的打开、读写都有可能产生IOError，所以要加try..finally，但是每次这样写都比较繁琐，就有了另一种形式

with open('/path/to/file', 'r') as f:
    print(f.read())

这和前面的try...finally是一样的，但是代码更加简洁，并且不必调用f.close()方法

由于调用read()会一次性读取文件的全部内容放在内存里，如果文件太大，内存就爆了，所以为了保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容。另外，调用readline()可以每次读取一行内容，readlines()是一次读取所有内容并按行返回一个list，按需取用。

open()函数返回的这种有read()方法的对象，在Python中通通称为file-like Object，就是所谓的鸭子类型：一只鸟走起来像鸭子、游起泳来像鸭子、叫起来也像鸭子，那它就可以被当做鸭子。也就是说，它不关注对象的类型，而是关注对象具有的行为(方法)。除了file，内存的字节流、网络流、自定义流都算。

如果要读取二进制文件，open函数的标识符要写rb；如果读取的文本不是UTF-8编码，需要给open函数传入encoding参数，如：

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')
>>> f.read()
'测试'

此外，还可以指定读文件时遇到编码错误时怎么处理，只需要传入errors参数即可，这里的值为ignore即为直接忽略

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

写文件同样也是调用open参数，只是传入标识符为w表示写文本文件或wb表示写二进制文件。打开文件后，可以反复调用write函数来写入文件，但是务必要调用close方法来关闭文件。跟上面一样，也是可以用with语句来简化这一切。

以w模式写入文件时，如果文件已存在，会直接覆盖，但如果希望用的是追加写，应该传入a标识符。这里是所有模式的定义和含义https://docs.python.org/3/library/functions.html#open

3.StringIO和BytesIO

很多时候，数据读写不一定是文件，也可以在内存中读写，StringIO意思就是在内存中读写str，要把str写入StringIO，我们需要先创建一个StringIO，然后，像文件一样写入即可，getvalue方法用于获得写入后的str：

>>> from io import StringIO
>>> f = StringIO()
>>> f.write('hello')
5
>>> f.write(' ')
1
>>> f.write('world!')
6
>>> print(f.getvalue())
hello world!

也要读取StringIO，可以用一个str初始化StringIO，然后，像读文件一样读取：

>>> from io import StringIO
>>> f = StringIO('Hello!\nHi!\nGoodbye!')
>>> while True:
...     s = f.readline()
...     if s == '':
...         break
...     print(s.strip())
...
Hello!
Hi!
Goodbye!

StringIO操作的只能是str，如果要操作二进制数据，就需要使用BytesIO。

>>> from io import BytesIO
>>> f = BytesIO()
>>> f.write('中文'.encode('utf-8'))
6
>>> print(f.getvalue())
b'\xe4\xb8\xad\xe6\x96\x87'

读取文件如下：

>>> from io import BytesIO
>>> f = BytesIO(b'\xe4\xb8\xad\xe6\x96\x87')
>>> f.read()
b'\xe4\xb8\xad\xe6\x96\x87'

4.使用os模块可以调用操作系统提供的接口函数来操作文件和目录，os.name可以返回操作系统类型，如果是posix说明系统是Linux、Unix或Mac OS X，如果是nt就是Windows系统，如果要获取详细的系统信息，可以调用uname()函数，但是Windows上不提供。os.environ变量存储系统的环境变量，可以用get方法传入key获取某个环境变量的值。

操作文件和目录的函数一部分放在os模块中，一部分放在os.path模块中，查看、创建和删除目录可以这么调用：

# 查看当前目录的绝对路径:
>>> os.path.abspath('.')
'/Users/michael'
# 在某个目录下创建一个新目录，首先把新目录的完整路径表示出来:
>>> os.path.join('/Users/michael', 'testdir')
'/Users/michael/testdir'
# 然后创建一个目录:
>>> os.mkdir('/Users/michael/testdir')
# 删掉一个目录:
>>> os.rmdir('/Users/michael/testdir')

把两个路径合成一个时，不要直接拼字符串，而要通过os.path.join()函数，这样可以正确处理不同操作系统的路径分隔符，拆分的时候也不要直接拆，而是通过os.path.split()函数，这样可以把一个路径拆分为两部分，后一部分是最后级别的目录或文件名，os.path.splitext()用于直接得到文件扩展名，这些合并、拆分路径的函数并不要求目录和文件要真实存在，它们只对字符串进行操作。

使用rename函数对文件重命名，使用remove函数删掉文件，但是os模块里没有文件复制的函数，而是在shutil模块里提供，这个模块还提供了很多实用函数，作为os模块的补充。

还可以利用Python的特性来过滤文件

# 列出当前目录下的所有目录，只需要一行代码：
>>> [x for x in os.listdir('.') if os.path.isdir(x)]
['.lein', '.local', '.m2', '.npm', '.ssh', '.Trash', '.vim', 'Applications', 'Desktop', ...]

# 列出所有的.py文件，也只需要一行
>>> [x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]=='.py']
['apis.py', 'config.py', 'models.py', 'pymonitor.py', 'test_db.py', 'urls.py', 'wsgiapp.py']

5.序列化

把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在Java里叫serialization。序列化之后就可以把内容写入磁盘，或者通过网络传输到别的机器上；反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。Python提供了pickle模块来实现序列化。

首先将一个对象序列化并写入文件，dumps方法会把任意对象序列化成一个bytes

>>> import pickle
>>> d = dict(name='Bob', age=20, score=88)
>>> pickle.dumps(d)
b'\x80\x03}q\x00(X\x03\x00\x00\x00ageq\x01K\x14X\x05\x00\x00\x00scoreq\x02KXX\x04\x00\x00\x00nameq\x03X\x03\x00\x00\x00Bobq\x04u.'

或者可以用dump方法把内容写入文件里

>>> f = open('dump.txt', 'wb')
>>> pickle.dump(d, f)
>>> f.close()

当要把对象从磁盘读到内存时，可以先把内容读到一个bytes，然后用pickle.loads()方法反序列化出对象，也可以直接用load方法从一个file-like Object中直接反序列化出对象

>>> f = open('dump.txt', 'rb')
>>> d = pickle.load(f)
>>> f.close()
>>> d
{'age': 20, 'score': 88, 'name': 'Bob'}

如果我们要在不同的编程语言之间传递对象，就必须把对象序列化为标准格式，比如XML，但更好的方法是序列化为JSON，因为JSON表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式，并且比XML更快，而且可以直接在Web页面中读取，非常方便。

JSON表示的对象就是标准的JavaScript语言的对象，JSON和Python内置的数据类型对应如下：

JSON类型	Python类型
{}	dict
[]	list
"string"	str
1234.56	int或float
true/false	True/False
null	None

json模块提供了非常完善的Python对象到JSON格式的转换。

>>> import json
>>> d = dict(name='Bob', age=20, score=88)
>>> json.dumps(d)
'{"age": 20, "score": 88, "name": "Bob"}'

dumps方法返回一个str，dump用于把JSON写入一个file-like Object，要把JSON反序列化成Python对象，用loads方法可以将JSON的字符串反序列化，后者从file-like Object中读取字符串并反序列化：

>>> json_str = '{"age": 20, "score": 88, "name": "Bob"}'
>>> json.loads(json_str)
{'age': 20, 'score': 88, 'name': 'Bob'}

但是！前面的方法不能直接把实例序列化为JSON

import json

class Student(object):
    def __init__(self, name, age, score):
        self.name = name
        self.age = age
        self.score = score

s = Student('Bob', 20, 88)
print(json.dumps(s))


Traceback (most recent call last):
  ...
TypeError: <__main__.Student object at 0x10603cc50> is not JSON serializable

要实现JSON序列化，得先写一个专门的转换函数，再把函数传进去

def student2dict(std):
    return {
        'name': std.name,
        'age': std.age,
        'score': std.score
    }

>>> print(json.dumps(s, default=student2dict))
{"age": 20, "name": "Bob", "score": 88}

但是，如果遇到一个Teacher类的实例，照样无法序列化为JSON，遇到这样的情况可以把任意class的实例变为dict

print(json.dumps(s, default=lambda obj: obj.__dict__))

因为通常class的实例都有一个__dict__属性，它就是一个dict，用来存储实例变量，除了__slot__的class。

同理，要把JSON反序列化成一个Student对象实例，loads方法首先转换出一个dict对象，然后我们传入函数把dict转换为Student实例

def dict2student(d):
    return Student(d['name'], d['age'], d['score'])


>>> json_str = '{"age": 20, "score": 88, "name": "Bob"}'
>>> print(json.loads(json_str, object_hook=dict2student))
<__main__.Student object at 0x10cd3c190>