Python 迭代协议

Python 迭代协议由__iter__方法与__next__方法构成，若对象具有__iter__方法，称该对象为“可迭代对象（iterable object）”。若对象具有__next__方法，称该对象为“迭代器（iterator）”。__iter__方法必须返回一个迭代器对象，__next__方法不断的返回下一元素，或者抛出StopIteration。__next__方法是 Python 迭代协议的核心，__iter__方法是迭代协议的辅助——将可迭代对象转换成迭代器。

在大多数情况下，可迭代对象会自动转换成迭代器，迭代操作本质是由“迭代器”负责——每次迭代输出一个元素，当无元素时，会抛出StopIteration。这种自动转换机制是造成“可迭代对象”与“迭代器“概念模糊的主要原因。 另一造成混淆的原因就是，对象即是可迭代对象，也是迭代器——当对象具有__iter__方法与__next__方法，并且__iter__方法返回自身，一个典型对象就是“文件对象”。

from builtins import str, list, tuple, dict, set，range

# 内置的列表、元组、字符串、字典、集合都是可迭代对象，在迭代过程中需转换成迭代器。
print("__iter__" in str.__dict__, "__next__" in str.__dict__)
print("__iter__" in list.__dict__, "__next__" in list.__dict__)
print("__iter__" in tuple.__dict__, "__next__" in tuple.__dict__)
print("__iter__" in dict.__dict__, "__next__" in dict.__dict__)
print("__iter__" in set.__dict__, "__next__" in set.__dict__)
print("__iter__" in range.__dict__, "__next__" in range.__dict__)

# True False
# True False
# True False
# True False
# True False
# True False

# 文件对象的__iter__方法返回自身
fp = open(r"C:\Users\86182\PycharmProjects\Practice\python_study\chapter30\__init__.py", "r")
print(iter(fp) is fp)  # True

# 列表等内置对象的__iter__方法不返回自身
x = [1, 2, 3]
print(iter(x) is x)  # False

以 for 循环为例，Python解释器会自动调用内置的iter方法，将可迭代对象作为iter方法的输入，iter方法会返回一个迭代器，然后在每次迭代过程中，迭代器依次输出元素，直至抛出StopIteration，标志迭代结束。类似的迭代工具——列表推导式、内置map、zip函数、成员检测函数等，与for 循环具有相似逻辑。

关于迭代器还有一点需要注意，就是迭代器是一次性的（Multi Pass），还是可重复的（Single Pass），取决于__iter__方法的实现逻辑，一般一次性的迭代器，__iter__方法会返回对象本身，而可重复遍历的迭代器，__iter__方法会返回一个新对象。内置的zip对象是典型的一次性迭代器，而range是典型的可重复遍历迭代对象。

from builtins import zip

print("__iter__" in zip.__dict__, "__next__" in zip.__dict__) # True True

x = zip([1,2,3], [1,2,3])
print(iter(x) is x)  # True
x1, x2 = iter(x), iter(x)
print(next(x1)) # (1, 1)
print(next(x1)) # (2, 2)
print(next(x2)) # (3, 3) 注意返回值不是(1, 1)

x = range(3)
print(iter(x) is x)  # False
x1, x2 = iter(x), iter(x)
print(next(x1)) # 0
print(next(x1)) # 1
print(next(x2)) # 0 注意返回值不是2

最后对 iter() 方法进行一个补充，iter() 方法还有另一种调用形式iter(callable, sentinel)，该调用会返回一种特殊的迭代器——调用callable对象，返回一个元素值，如果该值与sentinel相等，则抛出StopIteration，否则返回元素值。如果callable抛出其它异常，则直接广播。

class A(object):
    cnt = 0

    def __call__(self, *args, **kwargs):
        if self.cnt >= 10:
            raise ValueError("Test only")

        self.cnt += 1
        return self.cnt


a = A()
print(callable(a))  # True
x = iter(a, 2)
print(next(x))  # 1
print(next(x))  # StopIteration

 

参考资料

1. Python学习手册（第五版）——14章
2. PEP234