【Python】 列表生成式、生成器、迭代器的使用方法

一、列表生成式

列表生成式是Python内置的非常简单却强大的可以用来创建list的生成式。

1.列表生成式的语法规则

举个例子，要生成列表[1,2,3,4,5,6,7]可以这样做：

>>> list(range(1,8))
[1, 2, 3, 4, 5, 6, 7]

如果要生成列表[1*1, 2 * 2,3 * 3,4 * 4]呢？

>>> L=[]
>>> for x in range(1,5):
	L.append(x*x)
	
>>> L
[1, 4, 9, 16]

但是循环太繁琐，而列表生成式可以一行语句代替循环。

>>> [x*x for x in range(1,5)]
[1, 4, 9, 16]

筛选出仅偶数的平方：

>>> [x * x for x in range(1, 11) if x % 2 == 0]
[4, 16, 36, 64, 100]

还可以使用两层循环，生成全排列：

>>> [x+y for x in 'ABC' for y in '123']
['A1', 'A2', 'A3', 'B1', 'B2', 'B3', 'C1', 'C2', 'C3']

这里可以看到，列表生成式的语法如下：
$$[要生成的变量名+for循环（+if判断语句或两层for循环）]$$

2.一个实际的小例子

看一个实际的例子，例如，列出当前目录下的所有文件和目录名，可以通过一行代码实现：

>>> [d for d in os.listdir('.')]
['DLLs', 'Doc', 'etc', 'horseColicTest.txt', 'horseColicTraining.txt', 'include', 'Lib', 'libs', 'LICENSE.txt', 'logRegres.py', 'NEWS.txt', 'python.exe', 'python3.dll', 'python38.dll', 'pythonw.exe', 'Scripts', 'share', 'tcl', 'testSet.txt', 'Tools', 'vcruntime140.dll', '__pycache__']

由于我使用的是IDLE工具，打印出的目录是IDLE应用程序所在的目录。可以看到文件管理器中的目录和打印的目录是一致的。

3.其他用法

把一个list中所有的字符串进行大小写转换

>>> [s.lower() for s in L]
['hello', 'world', 'ibm', 'apple']
>>> L=['hello', 'world', 'ibm', 'apple']
>>> [s.upper() for s in L]
['HELLO', 'WORLD', 'IBM', 'APPLE']

列表生成式也可以使用两个变量来生成list

>>> [k + '=' + v for k, v in d.items()]
['x=A', 'y=B', 'z=C']

二、生成器

列表生成式虽然便捷，但是受到内存限制，列表容量肯定是有限的。而且，当列表很大，却只访问前面几个元素，也造成了内存的浪费。

所以，如果列表元素可以按照某种算法推算出来，是否可以在循环的过程中不断推算出后续的元素？这样就不必创建完整的list，从而节省大量的空间。在Python中，这种一遍生成一遍计算的机制，称为生成器：generator。

1.生成器的语法规则

1.1 把列表生成式改成generator

要创建一个 generator，有很多种方法，第一种方法：把列表生成式的[ ] 改为( )就可以了。

>>> (x*x for x in range(1,11))
<generator object <genexpr> at 0x000002B16B7F24A0>

可以用isinstance()判断一个对象是否是Iterable对象：

>>> isinstance((x for x in range(10)),Iterable)
True

因为 generator是可迭代对象，所以可以使用for循环打印其中的元素

>>> g=(x*x for x in range(1,11))
>>> for n in g:
	print(n)

	
1
4
9
16
25
36
49
64
81
100

1.2 通过函数实现复杂逻辑的generator

如果推算的算法比较复杂，无法用列表生成式的for循环实现时，还可以使用函数来实现。

比如，一个常见的斐波那契数列问题。

1,1,2,3,5,8…

斐波那契数列无法用列表生成式实现，但是可以用函数实现

def fib(max):
    n,a,b=0,0,1
    while n<max:
        print(b)>>> def fib(max):
    n,a,b=0,0,1
    while n<max:
        print(b)
        a,b = b,a+b
        n = n+1
    return 'done'

>>> fib(6)
1
1
2
3
5
8
'done'
        a,b = b,a+b
        n = n+1
    return 'done'

要把fib函数变成generator，只需要把print(b)改为yield b就可以了：

>>> def fib(max):
    n,a,b=0,0,1
    while n<max:
        yield b
        a,b = b,a+b
        n = n+1
    return 'done'

>>> fib(6)
<generator object fib at 0x000002B16B7F24A0>

generator函数的“调用”实际返回一个generator对象
普通函数调用直接返回结果

2. generate的执行流程及取得返回值的方法

我们知道函数的执行流程是顺序执行，遇到return语句或者执行到最后一行语句就返回。

那么generate的执行流程是怎么样的呢？

对于列表L = [x * x for x in range(5)] 打印出每一个元素有一个next()函数，每次调用next()，就计算出generator的下一个值.当没有元素时就抛出 StopIteration 异常。

可以看到每调用一次next()就返回

>>> g=(x*x for x in range(5))
>>> next(g)
0
>>> next(g)
1
>>> next(g)
4
>>> next(g)
9
>>> next(g)
16
>>> next(g)
Traceback (most recent call last):
  File "<pyshell#58>", line 1, in <module>
    next(g)
StopIteration

而变成gennetator的函数，遇到yield语句就返回，再次执行时从上次返回的yield语句处继续执行。

现在，调用一下generator,观察一下返回结果：

>>> for n in fib(6):
	print(n)

	
1
1
2
3
5
8

用for循环调用generator时，发现拿不到generator的return语句的返回值。如果想要拿到返回值，必须捕获StopIteration错误，返回值包含在StopIteration的value中：

>>> g=fib(6)
>>> while True:
	try:
		x=next(g)
		print('g:',x)
	except StopIteration as e:
		print('Generator return value:',e.value)
		break

	
g: 1
g: 1
g: 2
g: 3
g: 5
g: 8
Generator return value: done

三、迭代器

1.区分 Iterable（可迭代对象）和 Iterator（迭代器）

• 可以直接作用于for循环的对象称为可迭代对象：Iterable 可以用isinstance() 来判断一个对象是不是Iterable对象

>>> from collections.abc import Iterable
>>> isinstance([], Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance('abc', Iterable)
True
>>> isinstance((x for x in range(10)), Iterable)
>True
>>> isinstance(100, Iterable)
False

• 可以被next()函数调用并不断返回下一个值的对象称为迭代器（Iterator），可以使用isinstance()判断一个对象是否是Iterator对象

>>> from collections.abc import Iterator
>>> isinstance((x for x in range(10)), Iterator)
True
>>> isinstance([], Iterator)
False
>>> isinstance({}, Iterator)
False
>>> isinstance('abc', Iterator)
False

2. 特殊的 list、dict、str

generator都是Iterator对象，但list、dict、str 虽然是Iterable，却不是Iterator。
把list、dict、str等Iterable变成Iterator可以使用iter()函数：

>>> isinstance(iter([]), Iterator)
True
>>> isinstance(iter('abc'), Iterator)
True

为什么list、dict、str不是Iterator？
这是因为Python的Iterator对象表示的是一个数据流，Iterator对象可以被next()函数调用并不断返回下一个数据，直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列，但我们却不能提前知道序列的长度，只能不断通过next()函数实现按需计算下一个数据，所以Iterator的计算是惰性的，只有在需要返回下一个数据时它才会计算。

Iterator甚至可以表示一个无限大的数据流，例如全体自然数。而使用list是永远不可能存储全体自然数的。

3. 总结

1. 只要是可以作用于for循环的对象都是可迭代对象（Iterable）；
2. 只要是可以作用于next()函数的对象都是Iterator（迭代器）类型，它们表示一个惰性计算的序列；
3. 集合数据类型如list、dict、str等是Iterable但不是Iterator，不过可以通过iter()函数获得一个Iterator对象
4. Python的for循环本质就是通过不断调用next(）函数实现的。
   例如

for x in [1,2,3,4,5,6]:
    pass

完全等价于

#获取Iterator对象
it = iter([1,2,3,4,5,6])
#循环
while True:
    try:
        #获取下一个值
        x = next(it)
    except StopIteration:
        # 遇到StopIteration就退出循环
        break