《从Python开始学编程》第6章 与对象的深入交往

第6章 与对象的深入交往

在本章的前半部分，我们将探索Python“一切皆对象”背后的含义。许多语法，如运算符、元素引用、内置函数中，其实都来自于一些特殊对象。这样设计即满足了Python多范式的需求，又能以简单的体系满足丰富的语法需求，如运算符重载与即时特性等。而在本章后半部分，我们将深入到对象相关的重要机制，如动态类型和垃圾回收。

6.1 一切皆对象

1. 运算符

list是列表的类。如果用dir(list)调查list的属性，能看到一个属性是__add__()。从样式上看，__add__()是特殊方法。它特殊在哪呢？这个方法定义了"+"运算符对于list对象的意义，两个list的对象相加时，会进行合并列表的操作。结果为合并在一起的列表：

print([1, 2, 3] + [5, 6, 9]) # 得到[1, 2, 3, 5, 6, 9]

运算符，比如+、-、>、<、and、or等，都是通过特殊方法实现的，比如：

"abc" + "xyz" # 连接字符串，获得"abcxyz"

实际执行了如下操作：

"abc".__add__("xyz")

两个对象能否进行加法运算，首先要看相应的对象是否有__add__()方法。一旦相应的对象有__add__()方法，即便这个对象从数学上不可加，我们也可以执行加法操作。而对于特殊方法，功能相同的运算符更加简洁，能够简化书写。下面的一些运算用特殊方法来写会有写麻烦。

尝试下面的操作，看看效果，在想想它对应的运算符：

(1.8).__mul__(2.0) # 1.8*2.0

True.__or__(False) # True or False

这些运算符相关的特殊方法还能改变执行运算的方式。比如，列表在Python中是不可以相减的。你可以测试下面的操作：

[1, 2, 3] - [3, 4]

会有错误信息，说明列表不能进行减法操作，即列表没有定义"-"运算符。我们可以创建一个列表的子类，通过__sub__()方法，来添加减法操作的定义，例如：

class SuperList(list):
	def __sub__(self, b):
        a = self[:]		# 由于继承于list，self可以利用[:]的引用来表示整个列表
        b = b[:]	# 由于继承于list, b可以利用[:]的引用来表示整个列表
        while len(b) > 0:
            element_b = b.pop()
            if element_b in a:
                a.remove(element_b)
        return a
    
print(SuperList([1, 2, 3]) - SuperList([3, 4]))    # 打印[1, 2]

上面的例子中，内置函数len()用来返回列表所包含的元素的总数。内置函数__sub__()定义了"-"的操作：从第一个表中去掉第二个表中出现的元素。于是，我们创建的两个SuperList对象，就可以执行减法操作了。即使__sub__()方法已经在父类中定义过，但在子类中重新定义后，子类中的方法会覆盖父类的同名方法。即运算符将被重新定义。

2. 元素引用

下面是我们常见的表元素引用方式：

li = [1, 2, 3, 4, 5, 6]

print(li[3]) # 打印4

上面的程序运行到li[3]的时候，Python发现并理解[]符号，然后调用__getitem__()方法。

li = [1, 2, 3, 4, 5, 6]
print(li.__getitem__(3))	# 打印4

看下面的操作，想想它的对应：

li = [1, 2, 3, 4, 5, 6]
li.__setitem__(3, 0)
print(li)	# 返回[1, 2, 3, 0, 5, 6]

example_dict = {"a":1, "b":2}
example_dict.__delitem__("a")
print(example_dict)		# 返回{"b":2}

3. 内置函数的实现

与运算符类似，许多内置函数也都是调用对象的特殊方法。比如：

len([1, 2, 3]) # 返回表中元素的总数

实际上做的是：

[1, 2, 3].__len__()

相对于__len__()，内置函数len()也起到了简化书写的作用。

尝试下面的操作，想一下它的对应内置函数：

(-1).__abs__()
(2.3).__int__()

6.2 属性管理

1. 属性覆盖的背后

我们在继承中，提到了Python中属性覆盖的机制。为了深入理解属性覆盖，我们有必要理解Python的__dict__属性。当我们调用对象的属性时，这个属性可能有很多来源。除了来自对象属性和类属性，这个属性还可能是从祖先类那里继承来的。一个类或对象有的属性，会记录在__dict__中。这个__dict__是一个词典，键为属性名，对应的值为某个属性。Python在寻找对象的属性时，会按照继承关系依次寻找__dict__。

我们看下面的类和对象，Chicken类继承自Bird类，而summer为Chicken类的一个对象：

class Bird(object):
    feather = True
    
    def chirp(self):
        print("some sound")
        
class Chicken(Bird):
    fly = False
    
    def __init__(self, age):
        self.age = age
        
	def chirp(self):
        print("ji")
        
summer = Chicken(2)
print("===> summer")
print(summer.__dict__)

print("===> Chicken")
print(Chicken.__dict__)

print("===> Bird")
print(Bird.__dict__)

print("===> object")
print(object.__dict__)

下面是我们输出的结果：

===> summer
{'age': 2}
===> Chicken
{'__module__': '__main__', 'fly': False, '__init__': <function Chicken.__init__ at 0x037E5100>, 'chirp': <function Chicken.chirp at 0x037E50B8>, '__doc__': None}
===> Bird
{'__module__': '__main__', 'feather': True, 'chirp': <function Bird.chirp at 0x037D5F58>, '__dict__': <attribute '__dict__' of 'Bird' objects>, '__weakref__': <attribute '__weakref__' of 'Bird' objects>, '__doc__': None}
===> object
{'__repr__': <slot wrapper '__repr__' of 'object' objects>, '__hash__': <slot wrapper '__hash__' of 'object' objects>, '__str__': <slot wrapper '__str__' of 'object' objects>, '__getattribute__': <slot wrapper '__getattribute__' of 'object' objects>, '__setattr__': <slot wrapper '__setattr__' of 'object' objects>, '__delattr__': <slot wrapper '__delattr__' of 'object' objects>, '__lt__': <slot wrapper '__lt__' of 'object' objects>, '__le__': <slot wrapper '__le__' of 'object' objects>, '__eq__': <slot wrapper '__eq__' of 'object' objects>, '__ne__': <slot wrapper '__ne__' of 'object' objects>, '__gt__': <slot wrapper '__gt__' of 'object' objects>, '__ge__': <slot wrapper '__ge__' of 'object' objects>, '__init__': <slot wrapper '__init__' of 'object' objects>, '__new__': <built-in method __new__ of type object at 0x57496B78>, '__reduce_ex__': <method '__reduce_ex__' of 'object' objects>, '__reduce__': <method '__reduce__' of 'object' objects>, '__subclasshook__': <method '__subclasshook__' of 'object' objects>, '__init_subclass__': <method '__init_subclass__' of 'object' objects>, '__format__': <method '__format__' of 'object' objects>, '__sizeof__': <method '__sizeof__' of 'object' objects>, '__dir__': <method '__dir__' of 'object' objects>, '__class__': <attribute '__class__' of 'object' objects>, '__doc__': 'The base class of the class hierarchy.\n\nWhen called, it accepts no arguments and returns a new featureless\ninstance that has no instance attributes and cannot be given any.\n'}

这个顺序是按照与summer对象的亲近关系排列的。第一部分为summer对象自身的属性，也就是age。第二部分为Chicken类的属性，比如fly和__init__()方法。第3部分为Bird类的属性，比如feather。最后一部分属于object类，有诸如__doc__之类的属性。

如果我们用内置函数dir来查看对象summer的属性的话，可以看到summer对象包含了全部四个部分。也就是说，对象的属性是分层管理的。对象summer能接触到的所有属性，分别存在summer/Chicken/Bird/object这四层。当我们需要调用某个属性的时候，Python会一层层向下遍历，直到找到那个属性。由于对象不需要重复存储其祖先类的属性，所有分层管理的机制可以节省存储空间。

某个属性可能在不同层被重复定义。Python在向下遍历的过程中，会选取先遇到的那一个。这正是属性覆盖原理所在。在上面的输出中，我们能看到，Chicken和Bird都有chirp()方法。如果从summer调用chirp()方法，那么使用的将是和对象summer关系更近的Chicken的版本：

summer.chirp() # 打印：'ji'

子类的属性比父类的同名属性有优先权，这正是属性覆盖的关键。

值得注意的是，上面都是调用属性的操作。如果进行赋值，那么Python就不会分层深入查找了。下面创建一个新的Chicken类的对象autumn, 并通过autumn修改feather这一类属性：

autumn = Chicken(3)
autumn.feather = False
print(summer.feather)	# 打印True

尽管autumn修改了feather的属性值，但它并没有影响到Bird的类属性。当我们使用下面的方法查看autumn的对象属性时，会发现新建了一个名为feather的对象属性。

print(autumn.__dict__) # 结果：{"age": 3, "feather": False}

因此，Python在为属性赋值时，只会搜索对象本身的__dict__。如果找不到对应属性，则将在__dict__中增加。在类定义的方法中，如果用self引用对象，则也会遵守相同的规则。

我们可以不依赖继承关系，直接去操作某个祖先类的属性，比如：

Bird.feather = 3

其等效于修改Bird的__dict__：

Bird.__dict__["feather"] = 3

2. 特性

同一个对象的不同属性直接可能存在依赖关系。当某个属性被修改时，我们希望依赖于该属性的其他属性也同时变化。这时，我们不能通过__dict__的静态词典方式来存储属性。Python提供了多种即时生成属性的方法。其中一种称为特性（property）。特性是特殊的属性。比如我们为Chicken类增加一个标识成年与否的特性adult。当对象的年龄（age）超过1时，adult为真，否则为假：

class Bird(object):
    feather = True
    
class Chicken(Bird):
    fly = False
    def __init__(self, age):
        self.age = age
        
    def get_adult(self):
        if	self.age > 1.0:
            return True
        else:
            return False
        
     adult = property(get_adult)	# property is built-in
    
summer = Chicken(2)
print(summer.adult)	# 返回True

summer.age = 0.5
print(summer.adult)	# 返回False
             

特性使用内置函数property()来创建。property()最多可以加载四个参数。前三个参数为函数，分别用于设置获取、修改和删除特性时，Python应该执行的操作。最后一个参数为特性的文档，可以为一个字符串，起说明作用。

下面我们用一个例子来进一步说明：

class num(object):
    def __init__(self, value):
        self.value = value
        
    def get_neg(self):
        return -self.value
    
    def set_neg(self, value):
        self.value = -value
        
    def del_neg(self):
        print("value also deleted")
        del self.value
        
    neg = property(get_neg, set_neg, del_neg, "I'm negative")
    
x = num(1.1)    
print(x.neg)	# 打印-1.1
x.neg = -22
print(x.value)	# 打印22
print(num.neg.__doc__)	# 打印"I'm negative"
del x.neg	# 打印'value also deleted'

上面的num为一个数字，而neg为一个特性。用来表示数字的负数。当一个数字确定的时候，它的负数总数确定的。而当我们修改一个数的负数时，它本身的值也应该变化。这两点由get_neg()和set_neg()来实现。而del_neg()表示的是，如果删除特性neg，那么应该执行的操作是删除属性value。property()的最后一个参数（“I’m negative”）为特性neg的说明文档。

3. __getattr__()方法

除内置函数property外，我们还可以用__getattr__(self, name)来查询即时生成的属性。当我们调用对象的一个属性时，如果通过__dict__机制无法找到该属性，那么Python就会调用对象的__getattr__方法，来即时生成该属性，比如：

class Bird(obejct):
    feather = True
    
class Chicken(Bird):
    fly = False
    
    def __init__(self, age):
        self.age = age
        
    def __getattr__(self, name):
        if name == "adult":
            if self.age > 1.0:
                return True
            else:
                return False
        else:
            raise AttributeError(name)
            
summer =  Chicken(2)           
print(summer.adult)

summer.age = 0.5
print(summer.adult)		# 打印False

print(summer.male)		# 抛出AttributeError异常

每个特性都需要有自己的处理函数，而__getattr__()可以将所有的即时生成的属性放在同一个函数中处理。__getattr__()可以根据函数名区别处理不同的属性。比如，上面我们查询属性名male的时候，抛出AttribuuteError类的错误。需要注意的是，__getattr__()只能用于查询不在__dict__系统中的属性。

__setattr__(self, name, value)和__delattr__(self, name)可用于修改和删除属性。它们的应用面更广，可用于任意属性。

即时生成属性是非常值得了解的概念。在Python开发中，你有可能使用这种方法来更合理地管理对象的属性。即时生成属性还有其他的方式，比如使用descriptor类。

Python中还有一个__getattribute__()特殊方法，用于查询任意属性。

6.3 我是风儿，我是沙

1. 动态类型

动态类型（Dynamic Typing）是Python的另一个重要核心概念。前面说过，Python的变量不需要声明。在赋值时，变量可以重新赋值为其他任意值。我们从最简单的赋值语句入手：

a = 1

在Python中，整数1是一个对象。对象的名字是"a"。但更精确的说，对象名其实是指向对象的一个引用。对象时存储在内存中的实体。但我们不能直接接触到该对象。对象名是指向这一对象的引用（reference）。借着引用操作对象，就像是用筷子夹起热锅里的牛肉。对象时牛肉，对象名就是那双筷子。

通过内置函数id()，我们能查看引用指向的是哪个对象。这个函数能返回对象的编号：

a = 1
print(id(1))
print(id(a))

可以看到，赋值之后，对象1和引用a返回的编号相同。

在Python中，赋值其实就是用对象名这个筷子去夹其他的实物。每次赋值时，我们让左侧的引用指向右侧的对象。引用能随时指向一个新的对象：

a = 3
print(id(a))
a = "at"
print(id(a))

第一个语句中，3是存储在内存中的一个整数对象。通过赋值，引用a指向对象3。第二个语句中，内存中建立对象"at"，是一个字符串。引用a指向了"at"。通过两次的id()返回，我们能发现，引用指向的对象发生了变化。既然变量名是个随时可以变更指向的引用，那么它的类型自然可以在程序中动态变化。因此，Python是一门动态类型的语言。

一个类可以有多个相等的对象。比如两个长字符串可以是不同的对象，但它们的值可以相等。

除了直接打印id外，我们还可以用is运算来判断两个引用是否指向同一个对象。但对于小的整数和短字符串来说，Python会缓存这些对象，而不是频繁地建立和销毁它们。因此，下面的两个引用指向同一个整数对象3。

a = 3
b = 3
print(a is b)	# 打印True

2. 可变与不可变对象

一个对象可以有多个引用，看下面的一个例子：

a = 5
print(id(a))

b = a
print(id(a))
print(id(b))

a = a + 2
print(id(a))
print(id(7))

print(id(b))

通过前两个语句，我们让a、b指向同一个整数对象5。其中，b = a的含义是让引用b指向引用a所指的那一个对象。我们接下来对对象进行操作，让a增加2，再赋值给a。可以看到，a指向了整数对象7，而b依然指向对象5。本质上，加法操作并没有改变对象5。相反，Python只是让a指向加法的结果——另一个对象7。在这里，变的只是引用的指向。改变一个引用，并不会影响其他引用的指向。从效果上看，就是各个引用各自独立，互不影响。

但注意一下情况：

list2 = [1, 2, 3]

list1 = list2
list1[0] = 10
print(list2)

在我们改变list1时，list2的内容发生了改变。引用之间似乎失去了独立性。其实这并不矛盾。因为list1、list2的指向没有发生变化，依然是同一个列表。但列表是一个包含了多个引用的集合。每个元素是一个引用，比如list1[0]，list1[1]等。每个引用又指向一个对象，比如1、2、3。而list1[0]=10这一赋值操作，并不是改变list1的指向，而是对list1[0]。也就是说，列表对象的一部分，即一个元素的指向发生了变化。因此，所有指向该列表对象的引用都受影响。

因此，在操作列表时，如果通过元素引用改变了某个元素，那么列表对象自身会发生改变（in-place change）。列表这种自身能发送改变的对象，称为可变对象（Mutable Object）。我们之前见过的词典也是可变数据对象。但之前的整数、浮点数和字符串，则不能改变对象本身。赋值最多只能改变引用的指向。这种对象称为不可变对象（Immutable Object）。元组包含多个元素，但这些元素不可以进行赋值，所有也是不可变数据对象。

3. 从动态类型看函数的参数传递

函数的参数传递，本质上传递的是引用，比如：

def f(x):
    print(id(x))
    x = 100
    print(id(x))
    
a = 1
print(id(a))

f(a)
print(a)	# 打印出的第二行，可以看到id发生了变化

参数x是一个新的引用。当我们调用函数f时，a作为数据传递给函数，因此x会指向a所指的对象，也就是进行一次赋值操作。如果a是不可变对象，那么引用a和x之间相互独立，即对参数x操作不会影响引用a。

如果传递的是可变对象，那么情况就发生了变化：

def f(x):
	x[0] = 100
	print(x)
	
a = [1, 2, 3]	
f(a)
print(a)	# 打印[100, 2, 3]

上面的函数中，a指向一个可变的列表。在函数调用时，a把指向传给了参数x。这时，a和x两个引用都指向了同一个可变的列表。根据前文介绍我们知道，通过一个引用操作可变对象，会影响到其他的引用。程序的运行结果同样说明了这一点。打印a时，结果变成了[100, 2, 3]。即函数内部对列表的操作，会被外部的引用a“看到”。编程时要对此问题留心。

6.4 内存管理

1. 引用管理

语言的内存管理是语言设计的一个重要方面，它是决定语言性能的重要因素。无论是C语言的手工管理，还是Java的垃圾回收，都成为语言最重要的特征。这里以Python语言为例，来说明一门动态类型的、面向对象的语言的内存管理方式。

首先我们要明确，对象内存管理是基于对引用的管理。我们已经提到，在Python中，引用和对象分离。一个对象可以有多个引用，而每个对象中存有指向该对象的引用总数，即引用计数（Reference Count）。我们可以使用标准库sys包中的getrefcount()，来查看某个对象的引用计数。需要注意的是，当使用某个引用作为参数，传递给getrefcount()时，参数实际上是创建了一个临时引用。因此，getrefcount()所得到的结果，会比期望的多1：

from sys import getrefcount

a = [1, 2, 3]
print(getrefcount(a))

b = a
print(getrefcount(b))

处于上述原因，两个getrefcount()将返回2和3，而不是期望的1和2。

pycharm的debug会影响getrefcount()的返回值。

2. 对象引用对象

我们之前提到了一些可变对象，如列表和词典。它们都是数据容器对象，也可以包含多个对象。实际上，容器对象中包含的并不是对象元素本身，而是指向各个元素对象的引用。我们也可以自定义一个对象，并引用其他对象：

class from_obj(object):
    def __init__(self,to_obj):
        self.to_obj = to_obj

b = [1,2,3]
a = from_obj(b)
print(id(a.to_obj))
print(id(b))

可以看到，a引用了对象b。对象引用对象，在Python中十分常见。比如在主程序使用a=1，会把引用关系存入到一个词典中。该词典对象用于记录所有的全局引用。赋值a=1，实际上是让词典中一个键值为"a"的元素引用整数对象1。我们可以通过内置函数globals()来查看该词典。

当一个对象a被另一个对象b引用时，a的引用计数将增加1：

from sys import getrefcount

a = [1,2,3]
print(getrefcount(a))

b = [a, a]
print(getrefcount(b))
print(getrefcount(a))

输出为：

2
2
4

因为对象b引用了两次a，因此a的引用计数增加了2.

容器对象的引用可能会构成很复杂的拓扑结构，如下图所示。我们可以用objgraph包来绘制其引用关系。objgraph是Python的一个第三方包，可以用pip安装。

x = [1,2,3]
y = [x, dict(key1=x)]
z = [y, (x,y)]

import objgraph

objgraph.show_refs([z],filename="ref_topo.png") # 第二个参数说明了了绘图文件的文件名

两个对象可能相互引用，从而构成所谓的引用环（Reference Cycle）

a = []
b = [a]
a.append(b)

即便是单个对象，只需要自己引用自己，也能构成引用环。

from sys import getrefcount
a = []
a.append(a)
print(getrefcount(a))

引用环会给垃圾回收机制带来很大的麻烦。

某个对象的引用计数可能减少。比如，可以使用del关键字删除某个引用：

from sys import getrefcount
a = [1,2,3]
b = a
print(getrefcount(b))
del a
print(getrefcount(b))

输出为：

3
2

我们前面提到过，del也可以用于删除容器中的元素，比如：

a = [1,2,3]
del a[0]
print(a)

如果某个引用指向对象a，那么当这个引用被重新定向到某个其他对象b时，对象a的引用计数将减少：

from sys import getrefcount
a = [1,2,3]
b = a
print(getrefcount(b))
a = 1
print(getrefcount(b))

3. 垃圾回收

当Python中的对象越来越多时，它们将占据越来越大的内存。Python会在适当的时候启动垃圾回收（Garbage Collection），将没用的对象清除。

原理上，当Python的某个对象的引用计数降为0，即没有任何引用指向该对象时，该对象就成为要被回收的垃圾了。比如某个新建的对象，它被分配给某个引用。如果引用被删除，对象的引用计数为0，那么该对象就可以被垃圾回收。比如下面的表：

a = [1, 2, 3]
del a

del a后，已经没有任何引用指向之前建立的[1, 2, 3]这个表了，即用户不可能通过任何方式接触或者动用这个对象。这个对象如果继续呆在内存里，就会成为内存垃圾。当垃圾回收机制启动时，Python扫描到这个引用计数为0的对象，就会将它占据的内存清空。

垃圾回收时，Python不能进行其他的任务。频繁的垃圾回收将大大降低Python的工作效率。如果内存中的对象不多，就没有必要频繁启动垃圾回收。所以Python只会在特定条件下，自动启动垃圾回收。当Python运行时，会记录其中分配对象（Object Allocation）和取消分配对象（Object Deallocation）的次数。当两者的差值高于某个阈值时，垃圾回收才会启动。

我们可以通过gc模块的get_threshold()方法，查看该阈值：

import gc
print(gc.get_threshold())

返回(700, 10, 10)，后面的两个10是与分代回收相关的阈值。700即垃圾回收启动的阈值。可以通过gc中的set_threshold()方法重新设置。当然，我们也可以手动启动垃圾回收，即使用gc.collect()。

除了上面的基础回收方式外，Python同时还采用了分代（Generation）回收的策略。这一策略的基本假设是，存活时间越久的对象，越不可能在后面的程序中变成垃圾。我们的程序往往会产生大量的对象，许多对象很快产生和消失，但也有一些对象长期被使用。处于信任和效率，对于这样一些“长寿”的对象，我们相信它还有用处，所以减少在垃圾回收中扫描它们的频率。

Python将所有的对象分为0、1、2三代。所有新建对象都是0代对象。当某一代对象经历过垃圾回收，依然存活，那么它就被归入下一代对象。垃圾回收启动时，一定会扫描所有的0代对象。如果0代经过一定次数的垃圾回收，那么就启动对0代和1代的扫描清理。当1代也经历了一定次数的垃圾回收，就会启动对0、1、2代的扫描，即对所有对象进行扫描。

这两个次数即上面get_threshold()返回的(700,10,10)返回的两个10。也就是说，每10次0代垃圾回收，会配合1次1代垃圾回收；而每10次1代垃圾回收，才会有一次2代的垃圾回收。

同样可以用set_threshold()来调整次数，比如对2代对象进行更频繁的扫描

import gc
gc.set_threshold(700,10,5)

4. 孤立的引用环

引用环的存在会给上面的垃圾回收机制带来很大的困难。这些引用环可能构成无法使用，但引用计数不为0的一些对象：

a = []
b = [a]
a.append(b)
del a
del b

上面我们先创建了两个表对象，并引用对方，构成一个引用环。删除了a、b引用之后，这两个对象不可能再从程序中调用，因而就没有什么用处了。但是由于引用环的存在，这两个对象的引用计数都没有降到0，所以不会被垃圾回收。

为了回收这样的引用环，Python会复制每个对象的引用计数，可以即为gc_ref。假设，每个对象i，该计数为gc_ref_i。Python会遍历所有的对象i。对于每个对象i所引用的对象j，将相应的gc_ref_j减1，遍历后的结果如图6-3所示。

在结束遍历后，gc_ref不为0的对象，和这些对象引用的对象，以及继续更下游引用的对象，需要被保留，而其他的对象则被垃圾回收。

Python作为一门动态类型的语言，其对象和引用分离。为了有效地释放内存，Python内置了垃圾回收的支持。Python采取了一种相对简单的垃圾回收机制，即引用计数，并因此需要解决孤立引用环的问题。Python与其他语言既有共通性，又有特别的地方。对内存管理机制的理解，是提高Python性能的重要一步。