容器container
- 从技术角度来说,当某个对象可以用来询问某个元素是否包含在其中时,那么这个对象就可以认为是一个容器
- 一个类只要实现了
__contains__()
方法,那么它就是一个容器,也就是说,如果想自定义一个容器,则在类中定义一个__contains__()
方法即可:
# con is an container
class con(object):
def __init__(self):
self.items = [1,2]
def __contains__(self, item):
return item in self.items
- 并不是所有的容器都是可迭代的,比如:
Bloom filter
,虽然Bloom filter
可以用来检测某个元素是否包含在容器中,但是并不能从容器中获取其中的每一个值,因为Bloom filter
压根就没把元素存储在容器中,而是通过一个散列函数映射成一个值保存在数组中。
可迭代对象Iterable
- 容器包含但并不仅限于可迭代对象。
- 可以返回一个迭代器的对象都可以称之为可迭代对象。可迭代对象实现了
__iter__()
方法,该方法返回一个迭代器对象。 - 凡是可迭代对象都可以直接使用
for
循环进行访问。 list,tuple,dict,set
等只是可迭代对象,而不是迭代器。
可迭代对象的for循环,其内部发生了两件事:
- 使用
__iter__()
返回1个迭代器。 - 使用
__next__()
获取迭代器中的每一个元素。当已经迭代完最后一个数据,再次调用next()函数会抛出StopIteration
的异常
x = [1,2,3]
# for i in x:
# print(i)
ite =x.__iter__() #将列表用于创建迭代器
# print(ite) #打印
# 获取每个元素:
print(ite.__next__()) #for循环干第2件事情的时候做的第1步
print(ite.__next__()) #for循环干第2件事情的时候做的第2步
print(ite.__next__()) #for循环干第2件事情的时候做的第3步
有两个内置函数跟 __iter__()
和 __next__()
原理是一样的,本质相同,一般要用的话用内置函数要方便一些,起码不用写那么多下划线:
- 内置函数
iter()
的本质是__iter__()
,也是返回一个迭代器。 - 内置函数
next()
的本质是__next__()
,也是有了迭代器之后获取元素。
因此也可以这么写:
x = [1,2,3]
# for i in x:
# print(i)
ite =iter(x) #将列表用于创建迭代器
# print(ite) #打印
# 获取每个元素:
print(next(ite)) #for循环干第2件事情的时候做的第1步
print(next(ite)) #for循环干第2件事情的时候做的第2步
print(next(ite)) #for循环干第2件事情的时候做的第3步
for内部发生的事情如下图:
迭代器Iterator
字符串,列表或元组对象都可用于创建迭代器。
一个类如果实现了[迭代器协议],我们就说它是一个迭代器。
所谓实现[迭代器协议],在python中意味着以下2点:
- 实现了
__iter__()
方法,返回对象本身 - 实现了
__next__()
方法,返回迭代的值,如没有可迭代元素,则抛出StopIteration异常
比如,我们可以定义一个迭代器ite:
# ite is an iterator
class ite(object):
def __init__(self):
self.n = 0
def __iter__(self):
return self
def __next__(self):
if self.n < 100:
self.n += 1
return self.n
else:
raise StopIteration()
if __name__ == "__main__":
a = ite()
for i in a:
print(i)
迭代器的优点:不论能迭代出多大的数据量,只占用非常少的内存。container存储的是实际数据,那iterator存储的是什么呢?是算法。迭代器都是先定义运算规则,并没有存储需要的实际数据,当你有需要的时候,只需要通过for语句或者next()方法取出来即可。
迭代器与列表的区别在于,构建迭代器的时候,不像列表把所有元素一次性加载到内存,而是以一种延迟计算(lazy evaluation)方式返回元素,这正是它的优点。比如列表中含有一千万个整数,需要占超过100M的内存,而迭代器只需要几十个字节的空间。因为它并没有把所有元素装载到内存中,而是等到调用next()方法的时候才返回该元素(按需调用 call by need 的方式,本质上 for 循环就是不断地调用迭代器的next()方法)。
生成器Generator
生成器是一个特殊的迭代器,它自动实现
了迭代器协议,不需要手动维护__iter__()
和__next__()
这两种方法。
有2种方式可以创建一个生成器:
- 生成器表达式,
(expression for item in iterable if condition)
, 返回一个生成器对象
# gen is a generator
gen = (i for i in range(100))
- 生成器函数,只要在函数中声明一个
yiled
关键字即可
# gen is a generator
def gen(n):
for i in range(100):
yield i
yield关键字
- yield最了不起的能力就在于暂停和恢复的功能
- 包含
return
的方法会以return
关键字为最终返回,每次执行都返回相同的结果return
执行后,函数结束。 - 包含
yield
的方法一般用于迭代,每次执行时遇到yield
就返回yield
后的结果,但内部会保留上次执行的状态,下次继续迭代时,会继续执行yield
之后的代码,直到再次遇到yield
后返回,也就是说,yield
只是将函数的状态挂起。 - 生成器对象比迭代器多几个方法,如:
__close__()
,__send__()
参考资料
https://nvie.com/posts/iterators-vs-generators/
https://foofish.net/iterators-vs-generators.html
https://www.cnblogs.com/eastonliu/p/9156418.html
https://blog.csdn.net/qq_23981335/article/details/105110398
https://www.cnblogs.com/wj-1314/p/8490822.html
https://www.runoob.com/w3cnote/python-yield-used-analysis.html
https://zhuanlan.zhihu.com/p/36747627