生成器原来这么重要-CSDN博客

本文链接：https://blog.csdn.net/m0_74107848/article/details/139141585

在 Python中，生成器是一种特殊的迭代器。

定义：

通过使用生成器函数或生成器表达式来创建。

生成器函数：

使用 yield 语句而不是 return 语句。当调用生成器函数时，它返回一个生成器对象。每次调用生成器对象的 __next__() 方法（在 Python 3 中是 next() 方法）时，函数会执行到下一个 yield 语句，返回 yield 后面的值，并暂停函数的执行。下次再调用时，从上次暂停的地方继续执行。

生成器表达式：

类似于列表推导式，但使用括号而不是方括号。它创建一个生成器对象，可以按需生成值。

生成器的主要优点包括：

节省内存：它不需要一次性生成所有的值，而是根据需要逐步生成，对于处理大型数据集或无限序列非常有用。
提高效率：避免了一次性创建大量数据结构带来的开销。

例：

生成器有以下一些常见的使用场景：

处理大型数据集：可以逐步读取和处理数据，而不是一次性将所有数据加载到内存中，比如读取大型文件时。

def read_large_file_chunk_by_chunk(file_path):
    with open(file_path, 'r') as f:
        while True:
            chunk = f.read(1024)  # 每次读取 1KB
            if not chunk:
                break
            yield chunk

for chunk in read_large_file_chunk_by_chunk('large_file.txt'):
    # 处理每一块数据
    print(chunk)

无限序列生成：例如生成自然数序列、斐波那契数列等。

def natural_numbers():
    num = 0
    while True:
        yield num
        num += 1

gen = natural_numbers()
for _ in range(10):
    print(next(gen))

数据流水线：在数据处理流程中，一个阶段的生成器可以将数据传递给下一个阶段，实现高效的流式处理。

def data_generator():
    yield 1
    yield 2
    yield 3

def process_data(data):
    return data * 2

def pipeline():
    data = data_generator()
    for item in data:
        processed_item = process_data(item)
        yield processed_item

for result in pipeline():
    print(result)

懒加载：在某些情况下，只在需要时才生成数据，避免不必要的计算和资源消耗。

class LazyImageLoader:
    def __init__(self, image_paths):
        self.image_paths = image_paths
        self.index = 0

    def __iter__(self):
        return self

    def __next__(self):
        if self.index < len(self.image_paths):
            path = self.image_paths[self.index]
            # 模拟懒加载，实际中可以在此进行真正的图像加载操作
            print(f"Loading image at {path}")  
            self.index += 1
            return path
        else:
            raise StopIteration

image_loader = LazyImageLoader(['img1.jpg', 'img2.jpg', 'img3.jpg'])
for path in image_loader:
    print(path)

迭代复杂逻辑：当迭代过程涉及复杂的状态转换或计算时，使用生成器可以使代码更简洁清晰。

def complex_iteration_logic():
    state = 0
    while state < 10:
        if state % 2 == 0:
            yield 'Even'
        else:
            yield 'Odd'
        state += 1

for result in complex_iteration_logic():
    print(result)

分块处理：将一个大任务分解成多个小的生成器，依次处理每个块。

def chunk_generator(data, chunk_size):
    for i in range(0, len(data), chunk_size):
        yield data[i:i + chunk_size]

data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
chunk_size = 3
for chunk in chunk_generator(data, chunk_size):
    print(chunk)