python容器、可迭代对象、迭代器、生成器

刘岐明

已于 2023-01-07 22:04:28 修改

阅读量73

点赞数

分类专栏： python笔记文章标签： python 开发语言

于 2023-01-07 20:18:23 首次发布

本文链接：https://blog.csdn.net/weixin_42410437/article/details/128556013

版权

python笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

在这里插入图片描述

容器container

从技术角度来说，当某个对象可以用来询问某个元素是否包含在其中时，那么这个对象就可以认为是一个容器
一个类只要实现了__contains__()方法，那么它就是一个容器，也就是说，如果想自定义一个容器，则在类中定义一个__contains__()方法即可：

# con is an container
class con(object):
    def __init__(self):
        self.items = [1,2]

    def __contains__(self, item):
        return item in self.items

并不是所有的容器都是可迭代的，比如：Bloom filter，虽然Bloom filter可以用来检测某个元素是否包含在容器中，但是并不能从容器中获取其中的每一个值，因为Bloom filter压根就没把元素存储在容器中，而是通过一个散列函数映射成一个值保存在数组中。

可迭代对象Iterable

容器包含但并不仅限于可迭代对象。
可以返回一个迭代器的对象都可以称之为可迭代对象。可迭代对象实现了 __iter__() 方法，该方法返回一个迭代器对象。
凡是可迭代对象都可以直接使用for循环进行访问。
list,tuple,dict,set等只是可迭代对象，而不是迭代器。

可迭代对象的for循环，其内部发生了两件事：

使用 __iter__() 返回1个迭代器。
使用 __next__() 获取迭代器中的每一个元素。当已经迭代完最后一个数据，再次调用next()函数会抛出StopIteration的异常

x = [1,2,3]
# for i in x:
#     print(i)
ite =x.__iter__() #将列表用于创建迭代器
# print(ite)  #打印
# 获取每个元素：
print(ite.__next__())    #for循环干第2件事情的时候做的第1步
print(ite.__next__())    #for循环干第2件事情的时候做的第2步
print(ite.__next__())    #for循环干第2件事情的时候做的第3步

有两个内置函数跟 __iter__()和 __next__()原理是一样的，本质相同，一般要用的话用内置函数要方便一些，起码不用写那么多下划线：

内置函数 iter() 的本质是 __iter__() ，也是返回一个迭代器。
内置函数 next() 的本质是 __next__()，也是有了迭代器之后获取元素。

因此也可以这么写：

x = [1,2,3]
# for i in x:
#     print(i)
ite =iter(x) #将列表用于创建迭代器
# print(ite)  #打印
# 获取每个元素：
print(next(ite))    #for循环干第2件事情的时候做的第1步
print(next(ite))    #for循环干第2件事情的时候做的第2步
print(next(ite))    #for循环干第2件事情的时候做的第3步

for内部发生的事情如下图：
在这里插入图片描述

迭代器Iterator

字符串，列表或元组对象都可用于创建迭代器。
一个类如果实现了[迭代器协议]，我们就说它是一个迭代器。
所谓实现[迭代器协议]，在python中意味着以下2点：

实现了__iter__() 方法，返回对象本身
实现了__next__()方法，返回迭代的值，如没有可迭代元素，则抛出StopIteration异常

比如，我们可以定义一个迭代器ite：

# ite is an iterator
class ite(object):
    def __init__(self):
        self.n = 0

    def __iter__(self):
        return self

    def __next__(self):
        if self.n < 100:
            self.n += 1
            return self.n
        else:
            raise StopIteration()

if __name__ == "__main__":
    a = ite()
    for i in a:
        print(i)

迭代器的优点：不论能迭代出多大的数据量，只占用非常少的内存。container存储的是实际数据，那iterator存储的是什么呢？是算法。迭代器都是先定义运算规则，并没有存储需要的实际数据，当你有需要的时候，只需要通过for语句或者next()方法取出来即可。

迭代器与列表的区别在于，构建迭代器的时候，不像列表把所有元素一次性加载到内存，而是以一种延迟计算（lazy evaluation）方式返回元素，这正是它的优点。比如列表中含有一千万个整数，需要占超过100M的内存，而迭代器只需要几十个字节的空间。因为它并没有把所有元素装载到内存中，而是等到调用next()方法的时候才返回该元素（按需调用 call by need 的方式，本质上 for 循环就是不断地调用迭代器的next()方法）。

生成器Generator

生成器是一个特殊的迭代器，它自动实现了迭代器协议，不需要手动维护__iter__()和__next__()这两种方法。

有2种方式可以创建一个生成器：

生成器表达式，（expression for item in iterable if condition），返回一个生成器对象

# gen is a generator
gen = (i for i in range(100))

生成器函数，只要在函数中声明一个yiled关键字即可

# gen is a generator
def gen(n):
	for i in range(100):
		yield i

yield关键字

yield最了不起的能力就在于暂停和恢复的功能
包含 return 的方法会以 return 关键字为最终返回，每次执行都返回相同的结果return执行后，函数结束。
包含 yield 的方法一般用于迭代，每次执行时遇到 yield 就返回 yield 后的结果，但内部会保留上次执行的状态，下次继续迭代时，会继续执行yield之后的代码，直到再次遇到yield 后返回，也就是说，yield只是将函数的状态挂起。
生成器对象比迭代器多几个方法，如：__close__(),__send__()

参考资料

https://nvie.com/posts/iterators-vs-generators/
https://foofish.net/iterators-vs-generators.html
https://www.cnblogs.com/eastonliu/p/9156418.html
https://blog.csdn.net/qq_23981335/article/details/105110398
https://www.cnblogs.com/wj-1314/p/8490822.html
https://www.runoob.com/w3cnote/python-yield-used-analysis.html
https://zhuanlan.zhihu.com/p/36747627