1、列表生成式
语法
a = [func(i) for i in range(10)]
>>>a
>>>[0,1,2,3,4,5,6,7,8,9]
应用场景
如何给列表[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]里的每个值加1呢?
一般做法,
>>> a
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> b = []
>>> for i in a:b.append(i+1)
...
>>> b
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
>>> a = b
>>> a
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
二班做法,
a = [1,3,4,6,7,7,8,9,11]
for index,i in enumerate(a):
a[index] +=1
print(a)
三班做法,
>>> a
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
>>> a = map(lambda x:x+1, a)
>>> a
<map object at 0x101d2c630>
>>> for i in a:print(i)
...
2
3
4
5
6
7
8
9
10
11
列表生成式做法,
>>> a = [i+1 for i in range(10)]
>>> a
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
2、生成器
通过列表生成式,我们可以直接创建一个列表。但是受内存的限制,列表的容量是有限的。而且,创建一个100万个数据的列表,不仅占很大的内存存储,如果我们可能只需用到前面的一部分数据,那么后面的数据既没有使用到,还占了内存,白白浪费了内存空间。
那么,如果列表按照某种算法推算出来,这样就不必创建完整的list,从而节省大量的空间。
在python中,这种一边循环一边计算的机制,称为生成器(generator)。
创建生成器的第一种方法,就是把列表生成式的[ ]改成( )就可以了。
>>> L = [x * x for x in range(10)]
>>> L
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
>>> g = (x * x for x in range(10))
>>> g
<generator object <genexpr> at 0x104192570>
那么我们怎么打印generator的每一个元素呢?
可以通过next(g)/g.__ next__()函数获得generator的下一个返回值。
>>> next(g)
0
>>> next(g)
1
>>> next(g)
4
>>> next(g)
9
>>> next(g)
16
>>> next(g)
25
>>> next(g)
36
>>> next(g)
49
>>> next(g)
64
>>> next(g)
81
>>> next(g)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
generator保存的是算法,每次调用next(g),就计算出g的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。
我们创建了一个generator后,基本上永远不会调用next(),而是通过for循环来迭代它,并且不需要关心StopIteration的错误。
>>> g = (x * x for x in range(10))
>>> for n in g:
... print(n)
...
0
1
4
9
16
25
36
49
64
81
小总结:
- 生成器只有在调用的时候才会生成相应的数据,不调用的时候不生成数据,节省空间
- 只记住当前位置,只有next(g)/g.__next __()方法,只能一个一个往后取数据
generator是非常强大的,如果推算的算法很复杂的时候,用类似列表生成式的for循环无法实现的时候,还可以用函数来实现。
比如,著名的斐波拉契数列,除第一个和第二个之外,其他任意一个数都可以由前两个数相加得到:1,1,2,3,5,8,13…
def fib(max):
n, a, b = 0, 0, 1
while n <max:
print(b)
a, b = b, a+b
n += 1
return 'done'
仔细观察发现,斐波拉契数列可以从第一个元素开始,推算出后续的任意元素,这种逻辑和generator很相似。
也就是说上面的函数和generator仅一步之遥。要把fib函数变成generator,只需要把print(b)改为yield b就可以了。
def fib(max):
n, a, b = 0, 0, 1
while n <max:
#print(b)
yield b # yield保存当前状态的值并返回
a, b = b, a+b
n += 1
return 'done'
# 可以通过__next__()函数去调下一个元素了
f = fib(100)
print(f.__next__())
print("-----干点别的事----")
print(f.__next__())
这就是定义generator的第二种方法,如果函数中定义一个包含yield关键字,那么这个函数就不再是一个普通的函数了,而是一个生成器。
generator的执行顺序和函数又不一样,函数是按照顺序结构,遇到return语句或者最后一行就返回;而generator在每一次调用__next__()的时候执行,遇到yield语句返回,再次执行时从上次返回的yield语句处继续执行。
同样的,把函数改成generator后,我们基本上从来不会用__next__()来获取下一个返回值,而是直接使用for循环来迭代,但是用for循环调用generator时,发现拿不到generator的return语句的返回值。如果想要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIteration的value中:
g = fib(6)
while True:
try:
x = next(g) # next()调用yield
print('g:', x)
except StopIteration as e:
print('Generator return value:', e.value)
break
给个例子:实现在单线程的情况下实现并发运算的效果
# Author: Mr.Xue
# 2019.10.24
import time
def consumer(name):
print("%s 准备吃包子了" % name)
while True:
baozi = yield
print("包子%s来了,被%s吃了" %(baozi, name))
#c = consumer("xue")
#c.__next__()
#b1 = "肉包"
#c.send(b1)
def producer(name):
c = consumer('a')
c2 = consumer('b')
c.__next__()
c2.__next__()
print("%s准备开始做包子了" % name)
for i in range(5):
time.sleep(1)
print("做了两个包子,一人一个")
c.send(i) # 调用yield,同时给yield传值i
c2.send(i)
producer("Mr")
3、迭代器
可以直接作用于for循环的对象统称为可迭代对象:Iterable
可以被next()函数调用并不断返回下一个值的对象被称为迭代器:Iterator
可用isinstance()判断一个对象是否是Iterable
注:可直接作用于for循环的数据类型有以下几种:
- 集合数据类型:如list、tuple、dict、set、str等
- generator,包括生成器和带yield的generator function
>>> from collections import Iterable
>>> isinstance([], Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance('abc', Iterable)
True
>>> isinstance((x for x in range(10)), Iterable)
True
>>> isinstance(100, Iterable)
False
>>>
可以使用isinstance()判断一个对象是否是Iterator对象:
>>> from collections import Iterator
>>> isinstance((x for x in range(10)), Iterator)
True
>>> isinstance([], Iterator)
False
>>> isinstance({}, Iterator)
False
>>> isinstance('abc', Iterator)
False
>>>
生成器都是Iterator对象,但是list、dict、str虽然是Iterable,但不是Iterator
iter()函数可以把list、dict、str等变成Iterator
>>> isinstance(iter([]), Iterator)
True
>>> isinstance(iter({}), Iterator)
True
>>> isinstance(iter('abc'), Iterator)
True
>>>