第八章迭代器和生成器

最新推荐文章于 2024-07-18 15:53:23 发布

湘大小菜鸡

最新推荐文章于 2024-07-18 15:53:23 发布

阅读量443

点赞数 15

分类专栏： Python进阶文章标签： python 开发语言机器学习人工智能

本文链接：https://blog.csdn.net/m0_64357419/article/details/140511948

版权

Python进阶专栏收录该内容

12 篇文章 0 订阅

订阅专栏

迭代器和生成器是Python中非常重要的概念，它们为处理数据流提供了灵活高效的方式。迭代器允许我们逐个访问容器中的元素，而生成器可以动态地产生数据，避免内存消耗。通过对迭代器和生成器的掌握，可以编写出更加高效、优雅的代码。本章将详细探讨这些概念，并通过示例展示其实际应用。

9.1 迭代器的基本概念

迭代器是一个实现了迭代协议的对象。迭代协议包括两个方法：__iter__()和__next__()。__iter__()返回迭代器对象本身，而__next__()则返回容器的下一个元素。

示例代码：

class MyIterator:
    def __init__(self, data):
        self.data = data
        self.index = 0

    def __iter__(self):
        return self

    def __next__(self):
        if self.index < len(self.data):
            result = self.data[self.index]
            self.index += 1
            return result
        else:
            raise StopIteration

my_iter = MyIterator([1, 2, 3, 4])
for item in my_iter:
    print(item)

9.2 可迭代对象

可迭代对象是实现了__iter__()方法的对象，它返回一个迭代器。常见的可迭代对象包括列表、元组、字典、集合和字符串。

示例代码：

my_list = [1, 2, 3]
my_iter = iter(my_list)

print(next(my_iter))  # 输出：1
print(next(my_iter))  # 输出：2
print(next(my_iter))  # 输出：3

9.3 生成器的基本概念

生成器是简化了的迭代器，通过yield关键字生成值。每次生成器函数执行到yield表达式时，函数会挂起并返回值，当重新调用时，会从挂起的位置继续执行。

示例代码：

def my_generator():
    yield 1
    yield 2
    yield 3

gen = my_generator()
print(next(gen))  # 输出：1
print(next(gen))  # 输出：2
print(next(gen))  # 输出：3

9.4 生成器表达式

生成器表达式与列表推导式类似，但返回一个生成器对象，而不是一个列表。生成器表达式在处理大数据集时特别有用，因为它不会一次性生成所有数据，而是按需生成。

示例代码：

gen_expr = (x * x for x in range(10))
for value in gen_expr:
    print(value)

9.5 生成器的send和throw方法

生成器不仅可以通过yield产生值，还可以通过send方法接收外部值。throw方法则用于在生成器内部抛出异常。

示例代码：

def my_generator():
    try:
        value = yield
        print(f"Received: {value}")
    except ValueError as e:
        print(f"Caught exception: {e}")

gen = my_generator()
next(gen)  # 预激生成器
gen.send(10)  # 输出：Received: 10
gen.throw(ValueError, "Something went wrong")  # 输出：Caught exception: Something went wrong

9.6 使用生成器实现协程

协程是一种更加高级的生成器，用于处理并发任务。通过生成器和yield表达式，可以实现简易的协程。

示例代码：

def coroutine():
    while True:
        value = yield
        print(f"Received: {value}")

co = coroutine()
next(co)  # 预激协程
co.send(10)  # 输出：Received: 10
co.send(20)  # 输出：Received: 20

9.7 生成器的使用场景

生成器在处理大数据集、流式数据和懒惰计算时非常有用。它们可以显著减少内存使用，提高程序的性能。

示例代码：处理大数据集

def read_large_file(file_path):
    with open(file_path, 'r') as file:
        for line in file:
            yield line

for line in read_large_file('large_file.txt'):
    print(line.strip())

9.8 迭代器与生成器的性能比较

迭代器和生成器各有优缺点。在需要一次性访问所有元素时，迭代器更合适；在处理大数据或流式数据时，生成器更为高效。

示例代码：

import time

# 使用列表（迭代器）处理大数据
start = time.time()
data = [x * x for x in range(10**6)]
print("List processing time:", time.time() - start)

# 使用生成器处理大数据
start = time.time()
data = (x * x for x in range(10**6))
print("Generator processing time:", time.time() - start)

9.9 组合生成器

生成器可以通过yield from语句进行组合，使得生成器之间的调用和数据传递更加简洁。

示例代码：

def generator1():
    yield from range(3)

def generator2():
    yield from generator1()
    yield from "abc"

gen = generator2()
for value in gen:
    print(value)

9.10 实战案例

通过实际案例展示迭代器和生成器的应用，帮助理解其实际使用场景和优势。

案例：实现一个分页读取大文件的生成器

示例代码：

def paginate(file_path, page_size):
    with open(file_path, 'r') as file:
        while True:
            lines = []
            for _ in range(page_size):
                line = file.readline()
                if not line:
                    break
                lines.append(line)
            if not lines:
                break
            yield lines

# 测试分页生成器
for page in paginate('large_file.txt', 10):
    for line in page:
        print(line.strip())

9.11 生成器的异常处理

生成器中的异常处理与常规函数类似，但可以通过throw方法在生成器内部抛出异常，从而控制生成器的执行流程。

示例代码：

def my_generator():
    try:
        while True:
            value = yield
            print(f"Received: {value}")
    except ValueError:
        print("ValueError caught inside generator")

gen = my_generator()
next(gen)  # 预激生成器
gen.send(10)  # 输出：Received: 10
gen.throw(ValueError)  # 输出：ValueError caught inside generator

9.12 使用生成器处理流式数据

生成器在处理流式数据（如网络数据、日志文件等）时非常有用。它们可以实时生成数据，避免一次性加载大量数据带来的内存问题。

示例代码：

import socket

def receive_data(sock):
    while True:
        data = sock.recv(1024)
        if not data:
            break
        yield data

# 示例代码：从网络套接字接收数据
# sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# sock.connect(('localhost', 8080))
# for data in receive_data(sock):
#     print(data)

9.13 生成器的深度应用

生成器不仅可以用于简单的数据生成，还可以用于实现复杂的数据处理逻辑，如管道处理、数据转换等。

示例代码：实现一个简单的数据处理管道

def source():
    for i in range(10):
        yield i

def filter_even(numbers):
    for number in numbers:
        if number % 2 == 0:
            yield number

def multiply_by_two(numbers):
    for number in numbers:
        yield number * 2

# 组合生成器实现数据处理管道
pipeline = multiply_by_two(filter_even(source()))
for result in pipeline:
    print(result)

9.14 本章小结

在本章中，我们深入探讨了Python中的迭代器和生成器，包括它们的基本概念、使用场景和实际应用。我们了解了如何创建和使用迭代器和生成器，以及它们在处理大数据、流式数据和懒惰计算中的优势。我们还通过实际案例展示了迭代器和生成器的高级用法和性能比较，帮助读者更好地掌握这些强大的工具。

迭代器和生成器是Python编程中不可或缺的部分，它们提供了高效、灵活的数据处理方式。希望本章的内容能够帮助您深入理解和应用迭代器和生成器，编写出更加高效、优雅的代码

湘大小菜鸡

关注

15
点赞
踩
8

收藏

觉得还不错? 一键收藏
打赏
0
评论
第八章迭代器和生成器

迭代器和生成器是Python中非常重要的概念，它们为处理数据流提供了灵活高效的方式。迭代器允许我们逐个访问容器中的元素，而生成器可以动态地产生数据，避免内存消耗。通过对迭代器和生成器的掌握，可以编写出更加高效、优雅的代码。本章将详细探讨这些概念，并通过示例展示其实际应用。
复制链接

扫一扫