专题9:python之迭代器、生成器、推导式

迭代器

在《python基础》专栏中，我们介绍了python中的各种数据类型，每种数据类型我们都可以进行循环遍历，我们习惯把这种对象称为可迭代对象，那么到底什么是可迭代对象.我们现在就来讨论讨论可迭代对象.首先我们先回顾下我们熟知的可迭代对象有哪些:

str list tuple dic set 那为什么我们称他们为可迭代对象呢?因为他们都遵循了可迭代协议,那什么又是可迭代协议呢.首先我们先看一段代码:

s = 'abc'
for i in s:
    print(i)
#结果:
#a
#b
#c
错误的代码:
for i in 123:
    print(i)
#结果
#Traceback (most recent call last):
#  File "D:/python_object/二分法.py", line 62, in <module>
#    for i in 123:
#TypeError: 'int' object is not iterable

注意看报错信息,报错信息中有这样一句话: ‘int’ object is not iterable 翻译过来就是整数类型对象是不可迭代的.

iterable表示可迭代的.表示可迭代协议 那么如何进行验证你的数据类型是否符合可迭代协议.我们可以通过dir函数来查看类中定义好的所有方法

a = 'abc'
print(dir(a))  # dir查看对象的方法和函数
# 在打印结果中寻找__iter__ 如果存在就表示当前的这个类型是个可迭代对象

我们刚刚测了字符串中是存在 iter 的,那我们来看看 列表,元祖,字典.集合中是不是有存在__iter__

# 列表
lst = [1,2]
print(dir(lst))
# 元祖
tuple = (1,2)
print(dir(tuple))
# 字典
dic = {'a':1,'b':2}
print(dir(dic))
# 集合
se = {1,2,3,4,4}
print(dir(se))

是不是发现以上都有__iter__,其实也可以这么说可以for循环的就有__iter__方法,包括range

print(dir(range))

这是查看一个对象是否是可迭代对象的第一种方法,我们还可以通过isinstence()函数来查看一个对象是什么类型的

l = [1,2,3]
l_iter = l.__iter__()
from collections import Iterable
from collections import Iterator
print(isinstance(l,Iterable)) #True             #查看是不是可迭代对象
print(isinstance(l,Iterator)) #False            #查看是不是迭代器
print(isinstance(l_iter,Iterator)) #True       
print(isinstance(l_iter,Iterable)) #True

通过上边的我们可以确定.如果对象中有__iter__函数,那么我们认为这个对象遵守了可迭代协议.就可以获取到相应的迭代器

这里的__iter__是帮助我们获取到对象的迭代器.我们使用迭代器中的__next__()来获取到一个迭代器的元素,那么我们之前所讲的for循环机制

s = "我爱北京天安⻔"
c = s.__iter__() # 获取迭代器
print(c.__next__()) # 使⽤迭代器进⾏迭代. 获取⼀个元素 我
print(c.__next__()) # 爱
print(c.__next__()) # 北
print(c.__next__()) # 京
print(c.__next__()) # 天
print(c.__next__()) # 安
print(c.__next__()) # ⻔
print(c.__next__()) # StopIteration

for循环是不是也可以,并且还不报错啊,其实上边就是for的机制,

我们使用while循环和迭代器来模拟for循环: 必须要会

lslst = [6,5,4]
l = lst.__iter__()
while True:
    try:
        i = l.__next__()
        print(i)
    except StopIteration
        break

注意: 迭代器不能反复,只能向下执行,并且是一次性的.获取过了就不能在获取了

生成器

首先我们来看看什么是个生成器,生成器它的本质就是迭代器

在python中有以下几种方式来获取生成器

• 通过生成器函数
• 通过各种推导式来实现生成器

首先,我们先看一个很简单的函数:

def func():    
    print(11)    
    return 22
ret = func()
print(ret)# 运行结果:1122

我们只需要修改一个地方就可以把函数变成生成器 就是将函数中的return换成yield就是生成器

定义生成器

def func():    
	print(11)    
	yield 22
func()

我们这样写没有任何的变化,这是为什么呢? 我们来看看函数名加括号获取到的是什么?

为什么不会执行呢??不是函数名加括号就是调用这个函数吗? 你想的没有问题,只是因为函数体中出现了yield

咱们可以理解为,生成器是基于函数的形式变成的.

我们func()这一步是在创建一个生成器,然后我们就可以赋值到别得变量中,然后进行使用了

def func():    
    print(11)    
    yield 22
ret = func()
print(ret)
# 运行结果:<generator object func at 0x000001A575163888>

获取的这个生成器.如何使用呢???

回想下迭代器是怎么使用的,再想想生成器的本质就是迭代器.我们是不是就可以直接使用迭代器的方式直接使用生成器啦

def func():     
    print("111")     
    yield 222
gener = func() 
# 这个时候函数不会执⾏. ⽽是获取到⽣成器
ret = gener.__next__()
# 这个时候函数才会执⾏. yield的作⽤和return⼀样. 也是返回数据
print(ret)
#结果:111222

那么我们可以看到,yield和return的效果是一样的,但是还是有点区别

• yield是分段来执行一个函数,yield可以出现多次
• return是直接停止这个函数,return可以出现多次但是只会执行到第一个就结束了

def func():    
	print("111")    
    yield 222    
    print("333")   
    yield 444
gener = func()
ret = gener.__next__()
print(ret)
ret2 = gener.__next__()
print(ret2)
ret3 = gener.__next__()
# 最后⼀个yield执⾏完毕. 再次__next__()程序报错
print(ret3)
#结果:111222333444

当程序运行完最后一个yield,那么后面继续运行__next__()程序会报错

好了生成器我们认识了,生成器有什么作用呢?

生成器的作用

我们来看一下这个需求,订购了10000个蛋糕.老板也全部都做出来了

def eat():    
	lst = []    
    for i in range(1,10000):        
        lst.append('包子'+str(i))    
    return lst
e = eat()
print(e)

这样做是没有问题,但是我们目前这么点人吃不完这么多,只能先放到一个地方，这样也不太好

最后是老板能够咱们吃一个他做一个.这样我们就不用考虑没地方放的问题了,咱们实现吃一个做一个

def eat():    
    for i in range(1,10000):        
        yield '包子'+str(i)
e=eat()
print(e.__next__())
print(e.__next__())
print(e.__next__())
print(e.__next__())
print(e.__next__())
print(e.__next__())

上下的区别: 第一种是直接都拿来,很占内存也就是很占咱们的位置,第二种使用生成器,想吃就拿一个.吃多少个包多少个.生成器是一个一个的,一直向下进行,不能向上.next()到哪,指针就指到哪儿.下一次继续就获取指针指向的值

对比显示:生成器的好处是节省内存

我们再来看一个和__next__类似的东西send()

send和__next__()一样都可以让生成器执行到下一个yield

def eat():    
    for i in range(1,10000):        
        a = yield '包子'+str(i)        
        print('a is',a)        
        b = yield '窝窝头'        
        print('b is', b)
e = eat()
print(e.__next__())
print(e.send('大葱'))
print(e.send('大蒜'))

send是将括号中的内容传给了上一yield,然后yield接收的值就可以赋值给变量

send和__next__()区别:

• send 和 next()都是让生成器向下走一次

• send可以给上一个yield的位置传递值, 在第一次执行生成器的时候不能直接使用send(),但是可以使用send(None)

yield from

在python3中提供一种可以直接把可迭代对象中的每一个数据作为生成器的结果进行返回

def func():   
	lst = ['卫龙','老冰棍','北冰洋','牛羊配']    
    yield from lst
g = func()
for i in g:    
    print(i)

小坑
有个小坑,yield from 是将列表中的每一个元素返回,所以 如果写两个yield from 并不会产生交替的效果

def func():   
	lst1 = ['卫龙','老冰棍','北冰洋','牛羊配']    
    lst2 = ['馒头','花卷','豆包','大饼']    
    yield from lst1    
    yield from lst2
g = func()
for i in g:    
	print(i)

推导式

列表推导式

列表推导式,生成器表达式以及其他推导式,首先我们先看一下这样的代码,给出一个列表,通过循环,想列表中添加1~10:

li = []
for i in range(10):    
    li.append(i)
print(li)

我们换成列表推导式是什么样的,来看看:列表推导式的常⽤写法:

[结果 for 变量 in 可迭代对象]

ls = [i for i in range(10)]
print(ls)

列表推导式是通过⼀行来构建你要的列表, 列表推导式看起来代码简单. 但是出现错误之后很难排查.

#例. 从python1期到python18期写入列表lst:

lst = ['python%s' % i for i in range(1,19)]
print(lst)

lst = [i for i in range(100) if i %2 == 0]
print(lst)

生成器推导式

生成器表达式和列表推导式的语法基本上一样的,只是把[]换成()

gen = (i for i in range(10))
print(gen)
# 结果: <generator object <genexpr> at 0x0000026046CAEBF8>

打印的结果就是一个生成器,我们可以使用for循环来循环这个生成器

gen = ("第%s次" % i for i in range(10))
for i in gen:    
	print(i)

# 获取1-100内能被3整除的数
gen = (i for i in range(1,100) if i % 3 == 0)
for num in gen:
    print(num)
# 100以内能被3整除的数的平⽅
gen = (i * i for i in range(100) if i % 3 == 0)
for num in gen:
    print(num)
# 寻找名字中带有两个e的人的名字
names = [['Tom', 'Billy', 'Jefferson', 'Andrew', 'Wesley', 'Steven', 'Joe'],
         ['Alice', 'Jill', 'Ana', 'Wendy', 'Jennifer', 'Sherry', 'Eva']]
# 不用推导式和表达式
result = []
for first in names:
    for name in first:
        if name.count("e") >= 2:
            result.append(name)
print(result)
# 推导式
gen = (name for first in names for name in first if name.count('e') >= 2)
for i in gen:
    print(i)

生成器表达式和列表推导式的区别:

• 1.列表推导式比较耗内存,一次性加载.生成器表达式几乎不占用内存.使用的时候才分配和使用内存
• 2.得到的值不一样,列表推导式得到的是一个列表.生成器表达式获取的是一个生成器

字典推导式

根据名字应该也能猜到,推到出来的是字典

lst1 = ['jay','jj','meet']
lst2 = ['周杰伦','林俊杰','郭宝元']
dic = {lst1[i]:lst2[i] for i in range(len(lst1))}
print(dic)

集合推导式

集合推导式可以帮我们直接生成一个集合,集合的特点;无序,不重复 所以集合推导式自带去重功能

lst = [1,2,3,-1,-3,-7,9]
s = {abs(i) for i in lst}
print(s)

总结

总结1

• Iterable: 可迭代对象. 内部包含__iter__()函数
• Iterator: 迭代器. 内部包含__iter__() 同时包含__next__().

迭代器的特点:

• 节省内存.
• 惰性机制
• 不能反复, 只能向下执行.

​我们可以把要迭代的内容当成子弹. 然后呢. 获取到迭代器__iter__(), 就把子弹都装在弹夹中. 然后发射就是__next__()把每一个子弹(元素)打出来. 也就是说, for循环的时候.一开始的 时候是__iter__()来获取迭代器. 后面每次获取元素都是通过next()来完成的. 当程序遇到 StopIteration将结束循环.

迭代器(Iterator)和可迭代(Iterable)的区别：

• 凡是可作用于for循环的对象都是可迭代类型；
• 凡是可作用于next()函数的对象都是迭代器类型；
• list、dict、str等是可迭代的但不是迭代器，因为next()函数无法调用它们。可以通过iter()函数将它们转换成迭代器。
• Python的for循环本质上就是通过不断调用next()函数实现的。

总结2

推导式有, 列表推导式, 字典推导式, 集合推导式, 没有元组推导式

生成器表达式: (结果 for 变量量 in 可迭代对象 if 条件筛选)

生成器表达式可以直接获取到⽣成器对象. ⽣成器对象可以直接进行for循环. ⽣成器具有惰性机制.

集合推导式和字典推导式很是类似,记住一个小技巧能够快速区分那个是字典那个是集合

字典推导式前面的结果是有个冒号,而集合的前面结果就是单纯的结果

#斐波那契函数 '
def fibonacci(n): 
	a, b, counter = 0, 1, 0 
	while True: 
		if counter > n:
			 return yield a # yield让该函数变成一个生成器
		 a, b = b, a + b
		 counter += 1
fib = fibonacci(10) # fib是一个生成器 
print(type(fib))
for i in fib: 
	print(i, end=" ")