python生成器 内存,Python生成器以及应用

生成器可以理解为一种数据类型，这种数据类型自动实现了迭代器协议(其它的数据类型需要调用自己内置的_iter_方法)，所以生成器就是可迭代对象。Python有两种不同的方式提供生成器。

1. 生成器函数：使用yield 而不是return语句返回结果。yield语句一次返回一个结果。在每个结果中间，挂起函数的状态，以便下次从它离开的地方继续执行。yield函数的功能：

a. 把函数的结果做生迭代器(以一种优雅的方式封装好_iter_, _next_)

b. 函数的暂停与再继续运行有yield控制

yield与return的比较：

相同点：都有返回值的功能

不同点：return只能返回一次值，yield可以返回多次值

2. 生成器表达式：类似于列表推导。但是，生成器返回按需产生结果的一个对象，而不是一次构建一个结果列表。如

g=('egg%s' %i for i in range(1000))

print(g)

print(next(g))

print(next(g))

print(next(g))

生成器应用：读取大文件：如：

有一个文件有1T左右，并且只有一行，行之间有分隔符，我们需要把文件内的数据一行一行读取出来，然后写入数据库里面。

分析：遇到超大文件，不能直接放在内存中。要分段进行读取，以减少内存的占用

由于它只有一行，如果这样读取的话，1T 内存谁也承受不了

with open("file","r") as f:

for i in f.readlines()

print(i)

除了f.readlines()，可以用另外一个函数 file.read()

1.f.read() 函数并不是一次读取所有，可以传入 int 参数，代表读取的字符数

2.连续调用，可以读取偏移量的值 。

import os

filepath = os.path.dirname(os.path.abspath('.'))+"//a.txt"

def Myread(f,newlineseperator):

buffer ='' #暂存读取的数据

while True:

while newlineseperatorin buffer:#判断 分隔符是否存在暂存数据

pos = buffer.index(newlineseperator)#用了index方法并且返回分隔符的下表

yield buffer[:pos]#取分隔符前面的值保存在生成器

buffer=buffer[pos+len(newlineseperator):]#取过值也更新buffer,删除前面取得值加上分隔符

chunk = f.read(50)# 一次50个字符

if not chunk:#如果取不到值了，就用这个结束循环

yield buffer#最后一个分隔符后边的值加上再次取到的chunk值

break

buffer = buffer + chunk

with open(filepath,"r")as f:

for iin Myread(f,newlineseperator="{|}"):

print(i)