3. 对象迭代与反迭代相关问题与解决技巧

一. 如何实现可迭代对象和迭代器对象

实际案列

某软件要求， 从网络抓取各个城市气温信息， 并依次显示：
    北京： 15-20
    天津： 17-22
    长春： 12-18
    ...

如果一次抓取所有城市气温再显示， 显示第一个城市气温时， 有很高的延时，
并且浪费存储空间， 我们期望以“用时访问”的策略， 并且能把所有城市气温
封装到一个对象里， 可用for语句进行迭代。  如何解决？

可迭代对象和迭代器原理

from collections import Iterable, Iterator
l = [1,2,3,4,5]


isinstance(l, Iterable)  # True  列表是可迭代对象
issubclass(list, Iterable)  # True  列表是Iterable的子类
issubclass(str, Iterable)  # True  字符串是Iterable的子类
issubclass(dict, Iterable)  # True  字典是Iterable的子类


it = iter(l)  #  调用了__iter__方法    生成Iterator 迭代器

next(it)  #  next 可以对迭代器进行迭代   直到抛出 StopIteration异常  无法next


list(it)  # 迭代器传给列表， 可以将剩下没next的  变成列表


for x in it:   # 迭代器也是一个可迭代对象
    print(x)
    
isinstance(it, Iterable)  # True   迭代器也是一个可迭代对象

it.__iter__() is it   # True       或者iter(it)   都会返回它自身

解决方法

Step1: 实现一个迭代器对象WeatherIterator, __next__方法  每次返回一个城市的气温


Step2: 实现一个可迭代对象WeatherIterable, __iter__方法 返回一个WeatherIterator对象

from collections import Iterable, Iterator
import requests


class WeatherIterator(Iterator):
    def __init__(self, caties):
        self.caties = caties
        self.index = 0

    def __next__(self):
        if self.index == len(self.caties):
            raise StopIteration
        city = self.caties[self.index]
        self.index += 1
        return self.get_weather(city)

    def get_weather(self, city):
        url = 'http://wthrcdn.etouch.cn/weather_mini?city=' + city  # 获取相应城市气温
        r = requests.get(url)
        data = r.json()['data']['forecast'][0]
        return city, data['high'], data['low']


class WeatherIterable(Iterable):
    def __init__(self, cities):
        self.cities = cities

    def __iter__(self):
        return WeatherIterator(self.cities)


def show(w):
    for x in w:
        print(x)


w = WeatherIterable(['北京', '上海', '广州'] * 10)
show(w)

代码的注意点

如果不要WeatherIterable， 直接用WeatherIterator， 也可以。
但是 如果 show 结束  再次调用show  就什么都没有了。
因为Iterator 迭代器是一次性的， 但迭代器对象Iterable不是一次性的

---

二. 如何使用生成器函数实现可迭代对象

实际案列

实现一个可迭代对象的类， 它能迭代出给定范围内所有素数：
    
    pn = PrimeNumbers(1, 30)
    for k in pn:
        print k
    
    输出结果:
    2 3 5 7 11 13 17 19 23 29


用一节  中的 方法也能实现， 但用yield生成器 会更简单

解决方案

将该类的__iter__方法实现生成器函数， 每次yield返回一个素数


from collections import Iterable

class PrimeNumbers(Iterable):
    def __init__(self, a, b):
        self.a = a
        self.b = b

    def __iter__(self):
        for k in range(self.a, self.b + 1):
            if self.is_prime(k):
                yield k

    def is_prime(self, k):
        return False if k < 2 else all(map(lambda x: k % x, range(2, k)))      #  k%x  为0  必然不是素数

pn = PrimeNumbers(1, 30)
for n in pn:
    print(n)

---

三. 如何进行反向迭代以及如何实现反向迭代

实际案例

实现一个连续浮点数发生器FloatRange（和range类似）， 根据给定范围（start， end） 和步进值（step）
产生一些连续浮点数， 如迭代FloatRange(3.0, 4.0, 0.2) 可产生序列:

正向： 3.0->3.2->3.4->3.6->3.8->4.0
反向： 4.0->3.8->3.6->3.4->3.2->3.0

实现反向迭代

from decimal import Decimal   #  专门处理10进值浮点数

class FloatRange:
    def __init__(self, a, b, step):
     #  有时候会发生3.400000000000000004 这样的误差持续放大的问题，  
     #  使用Decimal解决， 产生10进值的浮点数  就没有误差。  在需要精准数据时， 常用
        self.a = Decimal(str(a))   
        self.b = Decimal(str(b))
        self.step = Decimal(str(step))

    def __iter__(self):
        t = self.a
        while t <= self.b:
            yield float(t)  #  用户需要的是python的float， 需要转换。另外的注意点：decimal对象是无法与float进行运算的
            t += self.step

    def __reversed__(self):  #  实现反向迭代  reversed
        t = self.b
        while t >= self.a:
            yield float(t)
            t -= self.step

fr = FloatRange(3.0, 4.0, 0.2)
for x in fr:
    print(x)
print('-' * 20)
for x in reversed(fr):
    print(x)

---

四. 如何对可迭代对象做切片操作

实际案列

有某个文本文件， 我们想读取其中某范围的内容如100~300 行之间的内容， python中文件是可迭代对象，
我们是否可以使用类似列表切片的方式得到一个100~300行文件内容的生成器？

f = open('/var/log/dpkg.log.1')
for line in f[100:300]:       #  可以吗？   答案是 不可以

原理解析

l = list(range(10))

l[2:8]   # 即 l.__getitem__(slice(2,8))    slice  是切片函数， 对应[2:8]
l[2:8: 2]   # 即 l.__getitem__(slice(2,8, 2))
l[3]    # 即 l.__getitem__(3)



f = open('/var/log/dkpg.log.1')

# f.readlines可以  使用切片， 但会把真个文件都读入内存， 不推荐

解决方案

使用 itertools.islice, 它能返回一个迭代对象切片的生成器


from itertools import islice
f = open('/var/log/dkpg.log.1')

for line in islice(f, 100-1, 300, 2):  #  参数: 可迭代对象   开始行(默认从0开始)  结束行  步进
    print(line)

自己实现简化版的islice

def my_islice(iterable, start, end, step=1):
    tmp = 0
    for i, x in enumerate(iterable):
        if i >= end:
            break
        if i >= start:
            if tmp == 0：
                tmp =step
            yield x
        tmp -= 1

---

五. 如何在一个for语句中迭代多个可迭代对象

实际案例

情况1（并行）： 某班学生期末考试成绩， 语文， 数学， 英语 分别存储在3个列表中， 同时迭代三个列表， 计算每个学生的总分


情况2（串行）： 某年级有4个班， 每次考试每班英语成绩分别存储在4个列表中， 依次迭代每个列表， 统计全学年成绩高于90分的人数

解决方案

- 并行：  使用zip函数  将多个可迭代对象 合并成一个

from random import randint

chinese = [randint(60, 100) for _ in range(20)]
math = [randint(60, 100) for _ in range(20)]
english = [randint(60, 100) for _ in range(20)]


t = []
for s1, s2, s3 in zip(chinese, math, english):  # zip得到的元组  是传入 的可迭代对象 中最少的   
    t.append(s1+s2+s3)   # 得到三科总分
    


- 串行：使用标准库中的itertools.chain, 它能将多个可迭代对象连接

class1 = [randint(60, 100) for _ in range(20)]
class2 = [randint(60, 100) for _ in range(20)]
class3 = [randint(60, 100) for _ in range(23)]
class4 = [randint(60, 100) for _ in range(25)]

from itertools import chain

len([for x in chain(class1, class2, class3, class4) if x > 90])   #  得到分数大于90的 学生人数