Python迭代器、生成器、装饰器

迭代器

可迭代对象：

list，str，tuple etc. —>for … in …遍历—> 遍历（迭代）

迭代器协议：对象必须提供一个next方法，执行该方法要么返回迭代中的下一项，要么引起StopIteration异常，以终止迭代（只能往下走，不可以回退）

现在，我们就可以说，实现了迭代器协议的对象就是可迭代对象。

如何实现？

• 通过在对象内部定义一个__iter__方法。

li = [1,2,3]
for i in li:
    print(i,end=" ")
sr = "abcd"
print(li.__iter__())
li_iter = iter(li)
print(li_iter.__next__())
print(next(li_iter))

1
2

可迭代对象测试

使用isinstance()来判断一个对象是否可迭代

from collections import Iterable
print(isinstance(set(),Iterable))

True

自定义一个类，其可以容纳数据，测试该类的可迭代性

from collections import Iterable

class MyClass:
    def __init__(self):
        self.name = []

    def add(self,name):
        self.name.append(name)

    def __iter__(self):
        return self.name.__iter__()

myclass = MyClass()
myclass.add("Tom")
myclass.add("Jack")
myclass.add("Lucy")

print(isinstance(myclass,Iterable))
for tmp in myclass:
    print(tmp)

True
Tom
Jack
Lucy

回顾之前说的__iter__方法，其可以为我们提供一个迭代器。

在访问一个可迭代对象的时候，获取一个迭代器。然后通过该迭代器依次获取对象的每一个数据。

#通过迭代器迭代
print(myclass)
myclass_iter = iter(myclass)
print(myclass_iter)
print(next(myclass_iter))
print(next(myclass_iter))
print(next(myclass_iter))
print(next(myclass_iter))

for item in …循环的本质，就是通过iter()函数获取可迭代对象的Iterable的迭代器，然后对获取到的迭代器不断调用next()方法来获取下一个值并将其赋值给item，当遇到StopIteration的异常后，退出。

应用场景

迭代器的核心就是通过next()函数调用返回下一个数据值。如果每次返回的数据值不是在一个已有的数据集合中读取的，而是通过程序按照一定规律计算生成，那么也就意味着可以不用依赖一个已有的数据集合，namely无需将所有的迭代对象数据一次新缓存下来供后续使用。这样，可以节省大量的储存（内存）

demo：

斐波那契数列

class Fib:
    def __init__(self,n):
        #记录生成的斐波那契数列个数
        self.n = n
        #当前记录的索引
        self.current_index = 0
        #记录两个初始值
        self.num1 = 0
        self.num2 = 1

    def __next__(self):
        if self.current_index < self.n:
            num = self.num1
            self.num1,self.num2 = self.num2,self.num1+self.num2
            self.current_index += 1
            return num
        else:
            raise StopIteration

    def __iter__(self):
        return self

fib = Fib(10)
for num in fib:
    print(num,end=" ")
    
0 1 1 2 3 5 8 13 21 34 

生成器

生成器，利用迭代器，我们可以在每次迭代获取数据时（通过next()方法）按照特定的规律进行生成。但是我们在实现一个迭代器时，关于当前迭代的状态需要我们自己记录，进而才能根据当前的状态生成下一个数据。为了达到记录当前状态，并配合next()函数进行迭代使用，可以采用更简便的语法。

即生成器（generator），生成器是一种特殊的迭代器，它比迭代器更优雅。

创建一个生成器

列表[] —> ()

li = [x**2 for x in range(6)]
print(li)

gen = (x**2 for x in range(6))
# print(next(gen))
# print(next(gen))
# print(next(gen))
# print(next(gen))
# print(next(gen))
# print(next(gen))

for i in gen:
    print(i,end=" ")
    
[0, 1, 4, 9, 16, 25]
0 1 4 9 16 25 

生成器函数

在函数中如果出现了yield关键字，那么该函数就不再是一个普通函数而是一个生成器函数。

demo：

def foo():
    yield 1
    yield 2
    return 
    yield 3
f = foo()
print(next(f)) #程序会停留在yield后的语句
print(next(f))
print(next(f)) #当程序遇到return，return后的语句不会再执行，因此报错

next和yield进行匹配，如果遇到return，return后的语句不会再执行，直接抛出StopIteration，终止迭代。

在一个生成器中，如果return后有返回值，那么这个值就是异常的说明，而不是函数的返回值。

构造一个产生无穷奇数的生成器

def odd():
    n = 1
    while True:
        yield n
        n += 2

odd_num = odd()
print(odd_num)

for i in range(0,6):
    print(next(odd_num))

通过类手动编写迭代器，实现相同的功能

class OddIter:
    def __init__(self):
        self.start = -1

    def __iter__(self):
        return self

    def __next__(self):
        self.start += 2
        return self.start

odd = OddIter()
for i in range(6):
    print(next(odd))

生成器支持的方法：

Help on generator object:

odd = class generator(object)
 |  Methods defined here:
 |  
 |  __del__(...)
 |  
 |  __getattribute__(self, name, /)
 |      Return getattr(self, name).
 |  
 |  __iter__(self, /)
 |      Implement iter(self).
 |  
 |  __next__(self, /)
 |      Implement next(self).
 |  
 |  __repr__(self, /)
 |      Return repr(self).
 |  
 |  close(...)
 |      close() -> raise GeneratorExit inside generator.
 |  
 |  send(...)
 |      send(arg) -> send 'arg' into generator,
 |      return next yielded value or raise StopIteration.
 |  
 |  throw(...)
 |      throw(typ[,val[,tb]]) -> raise exception in generator,
 |      return next yielded value or raise StopIteration.
 |  
 |  ----------------------------------------------------------------------
 |  Data descriptors defined here:
 |  
 |  gi_code
 |  
 |  gi_frame
 |  
 |  gi_running
 |  
 |  gi_yieldfrom
 |      object being iterated by yield from, or None

• close()
  • 手动关闭生成器函数，后面调用会直接引起StopIteration异常。

def gen():
    yield 1
    yield 2
    yield 3
    yield 4

g = gen()
print(next(g))
print(next(g))
g.close()
print(next(g))

1
2
Traceback (most recent call last):
  File "D:/python/PycharmProjects/chenhan/day11.py", line 184, in <module>
    print(next(g))
StopIteration

• send()
  • send()的作用相当于使生成器继续运行，并且传递的参数为yield的返回值（程序中即receive的值）
  • 如果生成器未启动，则必须在使用send()前启动，启动方法可以是gen.next()/gen.send(None)
  • 如果已启动，则send(para)的作用就是给receive赋值为发送的值（send的参数），然后让生成器执行到下一个yield

def gen():
    value = 0
    while True:
        receive = yield  value
        if receive == 'e':
            break
        value = "got:%s" % receive

g = gen()
print(g.send(None))
print(g.send("aaa"))
print(g.send(123))
print(g.send('e'))

0
Traceback (most recent call last):
got:aaa
got:123
  File "D:/python/PycharmProjects/chenhan/day11.py", line 198, in <module>
    print(g.send('e'))
StopIteration

• throw()
  • 手动抛出异常

def gen():
    i = 0
    while i < 5:
        temp = yield i
        print(temp)
        i += 1

obj = gen()
print(obj.throw(Exception,"Method throw called"))

Traceback (most recent call last):
  File "D:/python/PycharmProjects/chenhan/day11.py", line 221, in <module>
    print(obj.throw(Exception,"Method throw called"))
  File "D:/python/PycharmProjects/chenhan/day11.py", line 207, in gen
    def gen():
Exception: Method throw called

闭包

什么是闭包？

闭是封闭（函数中的函数），包是包含（该内部函数对外部函数作用域而非全局作用域变量的引用）

闭包：

• 内部函数对外部函数作用域里的变量的引用
• 函数内的属性，都有生命周期，都是在函数执行期间
• 闭包内的闭包函数私有化了变量，完成了数据的封装，类似面对对象

demo：

def foo():
    print("in foo()")
    def bar():
        print("in bar()")
#直接运行内部函数报错
# bar()

#考虑先运行外部函数，再运行内部函数，依然会报错
# foo()
# bar()

由于作用域的问题，函数内的属性，都是有生命周期的，只有在函数执行期间

再考虑这段代码，只有调用foo()时，内部的print()及bar()才能存活。

现在我们为了让foo()内的bar()存活，就是调用bar(),我们该怎么做？

**把bar()函数返回给函数**

def foo():
    print("in foo()")
    def bar():
        print("in bar()")
    return bar

var = foo()
var()

前面说，内部函数对外部函数作用域变量的引用 —> 如果是变量呢？

def foo():
    a = 66
    print("in foo()")
    def bar(num):
        print("in bar()")
        print(a + num)
    return bar

var = foo()	#将bar返回给var，此时var相当于bar函数
var(10)

in foo()
in bar()
76

装饰器

首先，看一个demo：

@func1
def func():
    print('aaa')

装饰器存在的意义

• 不影响原有函数的功能
• 可以添加新功能

一般常见的，比如拿到第三方的API接口，第三方不允许修改这个接口。这个时候，装饰器就派上用场。

装饰器本身也是一个函数，作用是为现有存在的函数，在不改变函数的基础上增加一些功能进行装饰。

它是以闭包的形式去实现的。

在使用装饰器函数时，在被装饰的函数的前一行，使用@装饰器函数名形式来进行装饰。

demo:

现在在一个项目中，有很多函数，由于我们的项目越来越大，功能也越来越多，导致程序越来越慢。

其中一个函数的功能，是实现一百万次的累加。

def my_count():
    s = 0
    for i in range(1000001):
        s += i
    print("sum:",s)
    
#假如我们要计算函数的运行时间，该如何做？
start = time.time()
my_count()
end = time.time()
print("执行时间为：",end - start)

sum: 500000500000
执行时间为： 0.1130983829498291

假如有成千上万个函数。每个函数这么写一遍，非常麻烦，代码量也凭空增加很多。明显不符合开发原则，代码泰国冗余。

考虑将上述代码中的时间计算封装为函数：

def count_time(func):
    start = time.time()
    func()
    end = time.time()
    print("执行时间为：", end - start)

count_time(my_count)

经过修改，定义一个函数来实现时间计算功能，只是在使用时，需要将对应的函数传入到时间计算函数中，仍然影响了使用。

能不能再使用时不影响函数原来的使用方式，同时计算时间？

#考虑闭包
def count_time(func):
    def wrapper():
        start = time.time()
        func()
        end = time.time()
        print("执行时间为：", end - start)
    return wrapper()

@count_time
def my_count():
    s = 0
    for i in range(1000001):
        s += i
    print("sum:",s)
    
# my_count = count_time(my_count)仍然更改了调用方式
my_count()

sum: 500000500000
执行时间为： 0.11408686637878418

使用装饰器不更改原有函数的调用方式，在使用时让my_count函数重新指向count_time函数返回的函数引用。这样使用my_count时，就和原来的使用方式一样了

这样实现的好处，定义闭包函数后，只需要通过@装饰器函数名形式的装饰器语法，就可以将@装饰器函数名加到要装饰的函数前即可。

这种不改变原有函数功能，对函数进行拓展的形式，就称为装饰器

在执行@装饰器函数名时，就是将原函数传递到闭包中。然后，原函数的引用指向闭包返回的装饰过的内部函数的引用。

装饰器的几种形式

1.无参无返回值

def setFunc(func):
    def wrapper():
        print("Start")
        func()
        print("end")
    return wrapper

@setFunc
def show():
    print("show")

show()
#setFunc(show)()

Start
show
end

2.无参有返回值

def setFunc(func):
    def wrapper():
        print("Start")
        func()
        print("end")
    return wrapper

@setFunc
def show():
    return "show"

print(show())

Start
end
None

3.有参数无返回值

def setFunc(func):
    def wrapper(s):
        print("Start")
        func(s)
        print("end")
    return wrapper

@setFunc
def show(s):
    print("Hello %s" % s)

show("City College")

Start
Hello City College
end

4.有参数有返回值

def setFunc(func):
    def wrapper(x,y):
        print("Start")
        return func(x,y)
        print("end")
    return wrapper

@setFunc
# def show(s):
#     print("Hello %s" % s)

def myAdd(x,y):
    return x+y

print(myAdd(2,3))

Start
5

万能装饰器

根据被装饰函数的定义不同，分出了四种形式。

能不能实现一种，适用于任何形式函数定义的装饰器？

通过可变参数（*args/**kwargs）来接收不同的参数类型。

def setFunc(func):
    def wrapper(*args,**kwargs):
        print("Wrapper context.")
        return func(*args,**kwargs)
    return wrapper

@setFunc
def func(name,age,job="It"):
    print(name,age,job)

func("Tom",18,"Student")

@setFunc
def demo(a,b,*c,**d):
    print((a,b))
    print(c)
    print(d)

demo("City","College",1999,1,1,school = "Zhejiang University")

Wrapper context.
Tom 18 Student
Wrapper context.
('City', 'College')
(1999, 1, 1)
{'school': 'Zhejiang University'}

函数被多个装饰器所装饰

一个函数在使用时，通过一个装饰器来拓展，可能并不能达到预期。

考虑用多个装饰器进行装饰

#装饰器1
def setFunc1(func):
    def wrapper1(*args,**kwargs):
        print("Wrapper Context 1 Start.".center(40,"-"))
        func(*args,**kwargs)
        print("Wrapper Context 1 End.".center(40,"-"))
    return wrapper1

#装饰器2
def setFunc2(func):
    def wrapper2(*args,**kwargs):
        print("Wrapper Context 2 Start.".center(40,"-"))
        func(*args,**kwargs)
        print("Wrapper Context 2 End.".center(40,"-"))
    return wrapper2

@setFunc1                               # --->F
@setFunc2                               # --->g
def show(*args,**kwargs):               # --->f
    print("Show Run.".center(40,'-'))

show()  #F(g(f))

--------Wrapper Context 1 Start.--------
--------Wrapper Context 2 Start.--------
---------------Show Run.----------------
---------Wrapper Context 2 End.---------
---------Wrapper Context 1 End.---------

从下往上去装饰（程序语句运行来看）

从内往外去装饰（函数的调用来看）

总结：

1.函数可以像普通变量一样，作为函数的参数或者返回值进行传递。

2.函数的内部可以定义另外一个函数。目的，隐藏函数功能的实现。

3.闭包实际上也是函数定义的一种形式。

4.闭包定义的规则，在外部函数定义一个内部函数，内部函数使用外部函数的变量，并返回内部函数的引用。

5.Python中，装饰器就是用闭包来实现的。

6.装饰器的作用，不改变现有函数的基础上，为函数增加功能。

7.装饰器的使用，通过@装饰器函数名的形式来给已有函数进行装饰，添加功能。

8.装饰器四种形式，根据参数的不同以及返回值的不同。

9.万能装饰器，通过可变参数（*args/**kwargs）来实现。

10.一个装饰器可以为多个函数提供装饰功能。

11.一个函数也可以被多个装饰器所装饰。（了解）

12.通过类实现装饰器，重写__init__和__call__函数。

13.类装饰器在装饰函数后，原来的引用不再是函数，而是装饰类的对象。