深入了解python生成器（generator）

生成器

生成器是 Python 中一种特殊类型的迭代器。生成器允许你定义一个函数来动态产生值，而不是一次性生成所有值并将它们存储在内存中。生成器使用 yield 关键字来逐个返回值。每次调用生成器函数时，函数会在 yield 语句暂停，并记住当前的执行状态，以便下次从该点继续执行。

生成器的特点

1. 惰性求值：生成器会在需要时生成值，而不是一次性生成所有值，节省内存。
2. 保持状态：生成器记住上次返回值的位置，并从该点继续执行。
3. 简洁易读：使用生成器表达式可以在单行代码中生成复杂的数据流。

如何定义生成器

生成器通过定义一个包含 yield 语句的函数来创建。当该函数被调用时，返回一个生成器对象。

def my_generator():
    yield 1
    yield 2
    yield 3

gen = my_generator()
print(next(gen))  # 输出：1
print(next(gen))  # 输出：2
print(next(gen))  # 输出：3

使用 yield 语句

yield 语句用于生成一个值，并暂停函数的执行。函数状态会被保留，以便下次调用生成器函数时从暂停点继续。

def countdown(n):
    while n > 0:
        yield n
        n -= 1

for num in countdown(5):
    print(num)

生成器表达式

生成器表达式是一种简洁的方式来创建生成器，类似于列表推导式，但使用圆括号而不是方括号。

gen_expr = (x * x for x in range(5))
for num in gen_expr:
    print(num)

内置生成器函数

Python 提供了一些内置函数，返回生成器对象，例如 range(), map(), filter() 和 zip()。

# range() 返回一个生成器
for i in range(5):
    print(i)

# map() 返回一个生成器
squared = map(lambda x: x * x, range(5))
for num in squared:
    print(num)

# filter() 返回一个生成器
evens = filter(lambda x: x % 2 == 0, range(10))
for num in evens:
    print(num)

生成器与内存效率

生成器在处理大量数据时特别有用，因为它们不需要一次性加载所有数据，而是按需生成数据，从而大大节省了内存。

# 使用列表处理大数据
large_list = [x * x for x in range(10**6)]
# 使用生成器处理大数据
large_gen = (x * x for x in range(10**6))

yield 与 return 的区别

• yield 生成一个值并暂停函数的执行，保留函数的状态。
• return 结束函数的执行并返回一个值。

def simple_generator():
    yield "Hello"
    yield "World"

def simple_function():
    return "Hello"
    return "World"

gen = simple_generator()
print(next(gen))  # 输出：Hello
print(next(gen))  # 输出：World

func = simple_function()
print(func)  # 输出：Hello

生成器的方法

生成器对象有以下方法：

• __next__(): 返回生成器的下一个值，或在没有更多值时引发 StopIteration。
• send(value): 向生成器发送一个值，并返回下一个 yield 表达式的值。
• throw(type, value=None, traceback=None): 在生成器中引发异常。
• close(): 关闭生成器，终止其执行。

def generator():
    try:
        while True:
            value = (yield)
            print(f'Received: {value}')
    except GeneratorExit:
        print('Generator closed')

gen = generator()
next(gen)
gen.send(10)
gen.send(20)
gen.close()

总结

生成器是 Python 中强大的工具，用于高效地处理大量数据或流数据。它们通过 yield 关键字生成值，保持函数状态，支持惰性求值，并且内存效率高。了解生成器的工作原理和用法，对于编写高效、可维护的 Python 代码至关重要。