Python 迭代器的妙用

Python 的迭代器是一个实现了迭代器协议的对象，它包含方法 iter() 和 next()。迭代器允许对象进行迭代操作，比如在 for 循环中。这种特性使得迭代器在处理数据集合时非常有用，特别是当数据量大或者数据产生是动态的情况下。

  1. 创建可迭代的数据流
    迭代器可以用来创建可迭代的数据流，这对于处理大数据集合特别有用，因为它们不需要在内存中一次性存储所有数据。
    python复制代码class CountDown:
    def __init__(self, start):
self.current = start
  • 1.

def __iter__(self):

return self
  • 1.

def __next__(self):

if self.current <= 0:
     raise StopIteration
 else:
     num = self.current
     self.current -= 1
     return num
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.

for num in CountDown(5):

print(num)
  • 1.
  1. 与生成器结合使用以简化代码
    迭代器与生成器（一种简易的迭代器）结合使用，可以简化处理序列化数据的代码，尤其是当数据处理包含多个步骤时。
    python复制代码def fibonacci(n):
    a, b = 0, 1
    while n > 0:
yield a
 a, b = b, a + b
 n -= 1
  • 1.
  • 2.
  • 3.

使用迭代器遍历斐波那契数列的前 10 个数

for num in fibonacci(10):

print(num)
  • 1.
  1. 实现分页功能
    迭代器非常适合实现如分页这样的功能，特别是在访问网络资源或数据库时，可以动态地加载或检索数据。
    python复制代码class PagedData:
    def __init__(self, data, page_size):
self.data = data
 self.page_size = page_size
 self.index = 0
  • 1.
  • 2.
  • 3.

def __iter__(self):

return self
  • 1.

def __next__(self):

if self.index >= len(self.data):
     raise StopIteration
 page = self.data[self.index:self.index+self.page_size]
 self.index += self.page_size
 return page
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.

data = range(1, 101) # 假设有 100 条数据
pages = PagedData(data, 10)

for page in pages:

print(page)
  • 1.
  1. 连接多个迭代器
    itertools.chain() 函数可以连接多个迭代器，创建一个单一的连续迭代器。这在需要从多个源顺序处理数据时非常有用。
    python复制代码from itertools import chain

list1 = [1, 2, 3]
list2 = [4, 5, 6]
list3 = [7, 8, 9]

for num in chain(list1, list2, list3):

print(num)
  • 1.
  1. 过滤数据
    迭代器配合 filter() 函数可以实现动态的数据过滤，这对于处理复杂数据集合尤其有用。
    python复制代码numbers = range(-5, 5)
    positive_numbers = filter(lambda x: x > 0, numbers)

for num in positive_numbers:

print(num)
  • 1.

小结
迭代器在 Python 中是一个非常有用的工具，它不仅可以用于简化代码、提高效率，还能处理大量数据、实现复杂的数据流操作。可以看到迭代器在数据处理和转换方面的强大能力。掌握迭代器的使用，能够让开发者在解决实际问题时更加得心应手。

Python 生成器妙用
Python 的生成器是一种实现迭代器协议的简单而强大的工具。它们不仅可以用于遍历数据，还可以用来以节省内存的方式处理大量数据，或解决复杂的编程问题。生成器使用 yield 关键字，它允许函数在保持当前状态的情况下暂停执行并稍后再继续，这为处理大规模数据集或复杂算法提供了极大的灵活性。

  1. 处理大型数据文件
    处理大型文件时，一次性读取整个文件到内存可能会导致内存不足。使用生成器，我们可以逐行读取文件，从而节省内存。
    python复制代码def read_large_file(file_name):
    with open(file_name, 'r') as file:
for line in file:
     yield line.strip()
  • 1.
  • 2.

使用示例

for line in read_large_file('large_data.txt'):

print(line)
  • 1.
  1. 生成无限序列
    生成器非常适合用来创建无限序列，因为它们在每次迭代时只产生序列的下一个元素，而不是一次性计算整个序列。
    python复制代码def infinite_numbers():
    n = 0
    while True:
yield n
 n += 1
  • 1.
  • 2.

使用示例

for number in infinite_numbers():

if number > 20:
    break
print(number)
  • 1.
  • 2.
  • 3.
  1. 实现斐波那契数列
    斐波那契数列是另一个生成器应用的典型例子，因为它允许我们按需生成序列，而不必一次性计算出许多值。
    python复制代码def fibonacci(limit):
    a, b = 0, 1
    while a < limit:
yield a
 a, b = b, a + b
  • 1.
  • 2.

使用示例

for num in fibonacci(100):

print(num)
  • 1.
  1. 数据管道
    生成器可以用来创建数据处理管道，这样可以将数据通过一系列处理步骤传递，每个步骤都以生成器的形式实现。
    python复制代码def integers():
    for i in range(1, 9):
yield i
  • 1.

def squared(seq):

for i in seq:
    yield i * i
  • 1.
  • 2.

def negated(seq):

for i in seq:
    yield -i
  • 1.
  • 2.

构建管道

chain = negated(squared(integers()))

for value in chain:

print(value)
  • 1.
  1. 生成器表达式
    生成器表达式提供了一种更紧凑的方式来构建生成器。它们的语法和列表推导式类似，但使用圆括号而不是方括号。
    python复制代码# 生成器表达式示例
    squares = (x*x for x in range(10))

for square in squares:

print(square)
  • 1.

小结
生成器是 Python 中非常强大的工具，能够以极高的效率和灵活性处理数据。无论是处理大型数据集，实现复杂的算法，还是构建数据处理管道，生成器都能提供优雅和高效的解决方案。