第6章 与对象的深入交往
在本章的前半部分,我们将探索Python“一切皆对象”背后的含义。许多语法,如运算符、元素引用、内置函数中,其实都来自于一些特殊对象。这样设计即满足了Python多范式的需求,又能以简单的体系满足丰富的语法需求,如运算符重载与即时特性等。而在本章后半部分,我们将深入到对象相关的重要机制,如动态类型和垃圾回收。
6.1 一切皆对象
1. 运算符
list是列表的类。如果用dir(list)调查list的属性,能看到一个属性是__add__()
。从样式上看,__add__()
是特殊方法。它特殊在哪呢?这个方法定义了"+"运算符对于list对象的意义,两个list的对象相加时,会进行合并列表的操作。结果为合并在一起的列表:
print([1, 2, 3] + [5, 6, 9]) # 得到[1, 2, 3, 5, 6, 9]
运算符,比如+、-、>、<、and、or等,都是通过特殊方法实现的,比如:
"abc" + "xyz" # 连接字符串,获得"abcxyz"
实际执行了如下操作:
"abc".__add__("xyz")
两个对象能否进行加法运算,首先要看相应的对象是否有__add__()
方法。一旦相应的对象有__add__()
方法,即便这个对象从数学上不可加,我们也可以执行加法操作。而对于特殊方法,功能相同的运算符更加简洁,能够简化书写。下面的一些运算用特殊方法来写会有写麻烦。
尝试下面的操作,看看效果,在想想它对应的运算符:
(1.8).__mul__(2.0) # 1.8*2.0
True.__or__(False) # True or False
这些运算符相关的特殊方法还能改变执行运算的方式。比如,列表在Python中是不可以相减的。你可以测试下面的操作:
[1, 2, 3] - [3, 4]
会有错误信息,说明列表不能进行减法操作,即列表没有定义"-"运算符。我们可以创建一个列表的子类,通过__sub__()
方法,来添加减法操作的定义,例如:
class SuperList(list):
def __sub__(self, b):
a = self[:] # 由于继承于list,self可以利用[:]的引用来表示整个列表
b = b[:] # 由于继承于list, b可以利用[:]的引用来表示整个列表
while len(b) > 0:
element_b = b.pop()
if element_b in a:
a.remove(element_b)
return a
print(SuperList([1, 2, 3]) - SuperList([3, 4])) # 打印[1, 2]
上面的例子中,内置函数len()用来返回列表所包含的元素的总数。内置函数__sub__()
定义了"-"的操作:从第一个表中去掉第二个表中出现的元素。于是,我们创建的两个SuperList对象,就可以执行减法操作了。即使__sub__()
方法已经在父类中定义过,但在子类中重新定义后,子类中的方法会覆盖父类的同名方法。即运算符将被重新定义。
2. 元素引用
下面是我们常见的表元素引用方式:
li = [1, 2, 3, 4, 5, 6]
print(li[3]) # 打印4
上面的程序运行到li[3]的时候,Python发现并理解[]符号,然后调用__getitem__()
方法。
li = [1, 2, 3, 4, 5, 6]
print(li.__getitem__(3)) # 打印4
看下面的操作,想想它的对应:
li = [1, 2, 3, 4, 5, 6]
li.__setitem__(3, 0)
print(li) # 返回[1, 2, 3, 0, 5, 6]
example_dict = {"a":1, "b":2}
example_dict.__delitem__("a")
print(example_dict) # 返回{"b":2}
3. 内置函数的实现
与运算符类似,许多内置函数也都是调用对象的特殊方法。比如:
len([1, 2, 3]) # 返回表中元素的总数
实际上做的是:
[1, 2, 3].__len__()
相对于__len__()
,内置函数len()
也起到了简化书写的作用。
尝试下面的操作,想一下它的对应内置函数:
(-1).__abs__()
(2.3).__int__()
6.2 属性管理
1. 属性覆盖的背后
我们在继承中,提到了Python中属性覆盖的机制。为了深入理解属性覆盖,我们有必要理解Python的__dict__
属性。当我们调用对象的属性时,这个属性可能有很多来源。除了来自对象属性和类属性,这个属性还可能是从祖先类那里继承来的。一个类或对象有的属性,会记录在__dict__
中。这个__dict__
是一个词典,键为属性名,对应的值为某个属性。Python在寻找对象的属性时,会按照继承关系依次寻找__dict__
。
我们看下面的类和对象,Chicken类继承自Bird类,而summer为Chicken类的一个对象:
class Bird(object):
feather = True
def chirp(self):
print("some sound")
class Chicken(Bird):
fly = False
def __init__(self, age):
self.age = age
def chirp(self):
print("ji")
summer = Chicken(2)
print("===> summer")
print(summer.__dict__)
print("===> Chicken")
print(Chicken.__dict__)
print("===> Bird")
print(Bird.__dict__)
print("===> object")
print(object.__dict__)
下面是我们输出的结果:
===> summer
{'age': 2}
===> Chicken
{'__module__': '__main__', 'fly': False, '__init__': <function Chicken.__init__ at 0x037E5100>, 'chirp': <function Chicken.chirp at 0x037E50B8>, '__doc__': None}
===> Bird
{'__module__': '__main__', 'feather': True, 'chirp': <function Bird.chirp at 0x037D5F58>, '__dict__': <attribute '__dict__' of 'Bird' objects>, '__weakref__': <attribute '__weakref__' of 'Bird' objects>, '__doc__': None}
===> object
{'__repr__': <slot wrapper '__repr__' of 'object' objects>, '__hash__': <slot wrapper '__hash__' of 'object' objects>, '__str__': <slot wrapper '__str__' of 'object' objects>, '__getattribute__': <slot wrapper '__getattribute__' of 'object' objects>, '__setattr__': <slot wrapper '__setattr__' of 'object' objects>, '__delattr__': <slot wrapper '__delattr__' of 'object' objects>, '__lt__': <slot wrapper '__lt__' of 'object' objects>, '__le__': <slot wrapper '__le__' of 'object' objects>, '__eq__': <slot wrapper '__eq__' of 'object' objects>, '__ne__': <slot wrapper '__ne__' of 'object' objects>, '__gt__': <slot wrapper '__gt__' of 'object' objects>, '__ge__': <slot wrapper '__ge__' of 'object' objects>, '__init__': <slot wrapper '__init__' of 'object' objects>, '__new__': <built-in method __new__ of type object at 0x57496B78>, '__reduce_ex__': <method '__reduce_ex__' of 'object' objects>, '__reduce__': <method '__reduce__' of 'object' objects>, '__subclasshook__': <method '__subclasshook__' of 'object' objects>, '__init_subclass__': <method '__init_subclass__' of 'object' objects>, '__format__': <method '__format__' of 'object' objects>, '__sizeof__': <method '__sizeof__' of 'object' objects>, '__dir__': <method '__dir__' of 'object' objects>, '__class__': <attribute '__class__' of 'object' objects>, '__doc__': 'The base class of the class hierarchy.\n\nWhen called, it accepts no arguments and returns a new featureless\ninstance that has no instance attributes and cannot be given any.\n'}
这个顺序是按照与summer对象的亲近关系排列的。第一部分为summer对象自身的属性,也就是age。第二部分为Chicken类的属性,比如fly和__init__()
方法。第3部分为Bird类的属性,比如feather。最后一部分属于object类,有诸如__doc__
之类的属性。
如果我们用内置函数dir来查看对象summer的属性的话,可以看到summer对象包含了全部四个部分。也就是说,对象的属性是分层管理的。对象summer能接触到的所有属性,分别存在summer/Chicken/Bird/object这四层。当我们需要调用某个属性的时候,Python会一层层向下遍历,直到找到那个属性。由于对象不需要重复存储其祖先类的属性,所有分层管理的机制可以节省存储空间。
某个属性可能在不同层被重复定义。Python在向下遍历的过程中,会选取先遇到的那一个。这正是属性覆盖原理所在。在上面的输出中,我们能看到,Chicken和Bird都有chirp()方法。如果从summer调用chirp()方法,那么使用的将是和对象summer关系更近的Chicken的版本:
summer.chirp() # 打印:'ji'
子类的属性比父类的同名属性有优先权,这正是属性覆盖的关键。
值得注意的是,上面都是调用属性的操作。如果进行赋值,那么Python就不会分层深入查找了。下面创建一个新的Chicken类的对象autumn, 并通过autumn修改feather这一类属性:
autumn = Chicken(3)
autumn.feather = False
print(summer.feather) # 打印True
尽管autumn修改了feather的属性值,但它并没有影响到Bird的类属性。当我们使用下面的方法查看autumn的对象属性时,会发现新建了一个名为feather的对象属性。
print(autumn.__dict__) # 结果:{"age": 3, "feather": False}
因此,Python在为属性赋值时,只会搜索对象本身的__dict__
。如果找不到对应属性,则将在__dict__
中增加。在类定义的方法中,如果用self引用对象,则也会遵守相同的规则。
我们可以不依赖继承关系,直接去操作某个祖先类的属性,比如:
Bird.feather = 3
其等效于修改Bird的__dict__
:
Bird.__dict__["feather"] = 3
2. 特性
同一个对象的不同属性直接可能存在依赖关系。当某个属性被修改时,我们希望依赖于该属性的其他属性也同时变化。这时,我们不能通过__dict__
的静态词典方式来存储属性。Python提供了多种即时生成属性的方法。其中一种称为特性(property)。特性是特殊的属性。比如我们为Chicken类增加一个标识成年与否的特性adult。当对象的年龄(age)超过1时,adult为真,否则为假:
class Bird(object):
feather = True
class Chicken(Bird):
fly = False
def __init__(self, age):
self.age = age
def get_adult(self):
if self.age > 1.0:
return True
else:
return False
adult = property(get_adult) # property is built-in
summer = Chicken(2)
print(summer.adult) # 返回True
summer.age = 0.5
print(summer.adult) # 返回False
特性使用内置函数property()来创建。property()最多可以加载四个参数。前三个参数为函数,分别用于设置获取、修改和删除特性时,Python应该执行的操作。最后一个参数为特性的文档,可以为一个字符串,起说明作用。
下面我们用一个例子来进一步说明:
class num(object):
def __init__(self, value):
self.value = value
def get_neg(self):
return -self.value
def set_neg(self, value):
self.value = -value
def del_neg(self):
print("value also deleted")
del self.value
neg = property(get_neg, set_neg, del_neg, "I'm negative")
x = num(1.1)
print(x.neg) # 打印-1.1
x.neg = -22
print(x.value) # 打印22
print(num.neg.__doc__) # 打印"I'm negative"
del x.neg # 打印'value also deleted'
上面的num为一个数字,而neg为一个特性。用来表示数字的负数。当一个数字确定的时候,它的负数总数确定的。而当我们修改一个数的负数时,它本身的值也应该变化。这两点由get_neg()
和set_neg()
来实现。而del_neg()
表示的是,如果删除特性neg,那么应该执行的操作是删除属性value。property()的最后一个参数(“I’m negative”)为特性neg的说明文档。
3. __getattr__()
方法
除内置函数property外,我们还可以用__getattr__(self, name)
来查询即时生成的属性。当我们调用对象的一个属性时,如果通过__dict__
机制无法找到该属性,那么Python就会调用对象的__getattr__
方法,来即时生成该属性,比如:
class Bird(obejct):
feather = True
class Chicken(Bird):
fly = False
def __init__(self, age):
self.age = age
def __getattr__(self, name):
if name == "adult":
if self.age > 1.0:
return True
else:
return False
else:
raise AttributeError(name)
summer = Chicken(2)
print(summer.adult)
summer.age = 0.5
print(summer.adult) # 打印False
print(summer.male) # 抛出AttributeError异常
每个特性都需要有自己的处理函数,而__getattr__()
可以将所有的即时生成的属性放在同一个函数中处理。__getattr__()
可以根据函数名区别处理不同的属性。比如,上面我们查询属性名male的时候,抛出AttribuuteError类的错误。需要注意的是,__getattr__()
只能用于查询不在__dict__
系统中的属性。
__setattr__(self, name, value)
和__delattr__(self, name)
可用于修改和删除属性。它们的应用面更广,可用于任意属性。
即时生成属性是非常值得了解的概念。在Python开发中,你有可能使用这种方法来更合理地管理对象的属性。即时生成属性还有其他的方式,比如使用descriptor类。
Python中还有一个__getattribute__()
特殊方法,用于查询任意属性。
6.3 我是风儿,我是沙
1. 动态类型
动态类型(Dynamic Typing)是Python的另一个重要核心概念。前面说过,Python的变量不需要声明。在赋值时,变量可以重新赋值为其他任意值。我们从最简单的赋值语句入手:
a = 1
在Python中,整数1是一个对象。对象的名字是"a"。但更精确的说,对象名其实是指向对象的一个引用。对象时存储在内存中的实体。但我们不能直接接触到该对象。对象名是指向这一对象的引用(reference)。借着引用操作对象,就像是用筷子夹起热锅里的牛肉。对象时牛肉,对象名就是那双筷子。
通过内置函数id(),我们能查看引用指向的是哪个对象。这个函数能返回对象的编号:
a = 1
print(id(1))
print(id(a))
可以看到,赋值之后,对象1和引用a返回的编号相同。
在Python中,赋值其实就是用对象名这个筷子去夹其他的实物。每次赋值时,我们让左侧的引用指向右侧的对象。引用能随时指向一个新的对象:
a = 3
print(id(a))
a = "at"
print(id(a))
第一个语句中,3是存储在内存中的一个整数对象。通过赋值,引用a指向对象3。第二个语句中,内存中建立对象"at",是一个字符串。引用a指向了"at"。通过两次的id()返回,我们能发现,引用指向的对象发生了变化。既然变量名是个随时可以变更指向的引用,那么它的类型自然可以在程序中动态变化。因此,Python是一门动态类型的语言。
一个类可以有多个相等的对象。比如两个长字符串可以是不同的对象,但它们的值可以相等。
除了直接打印id外,我们还可以用is运算来判断两个引用是否指向同一个对象。但对于小的整数和短字符串来说,Python会缓存这些对象,而不是频繁地建立和销毁它们。因此,下面的两个引用指向同一个整数对象3。
a = 3
b = 3
print(a is b) # 打印True
2. 可变与不可变对象
一个对象可以有多个引用,看下面的一个例子:
a = 5
print(id(a))
b = a
print(id(a))
print(id(b))
a = a + 2
print(id(a))
print(id(7))
print(id(b))
通过前两个语句,我们让a、b指向同一个整数对象5。其中,b = a的含义是让引用b指向引用a所指的那一个对象。我们接下来对对象进行操作,让a增加2,再赋值给a。可以看到,a指向了整数对象7,而b依然指向对象5。本质上,加法操作并没有改变对象5。相反,Python只是让a指向加法的结果——另一个对象7。在这里,变的只是引用的指向。改变一个引用,并不会影响其他引用的指向。从效果上看,就是各个引用各自独立,互不影响。
但注意一下情况:
list2 = [1, 2, 3]
list1 = list2
list1[0] = 10
print(list2)
在我们改变list1时,list2的内容发生了改变。引用之间似乎失去了独立性。其实这并不矛盾。因为list1、list2的指向没有发生变化,依然是同一个列表。但列表是一个包含了多个引用的集合。每个元素是一个引用,比如list1[0],list1[1]等。每个引用又指向一个对象,比如1、2、3。而list1[0]=10这一赋值操作,并不是改变list1的指向,而是对list1[0]。也就是说,列表对象的一部分,即一个元素的指向发生了变化。因此,所有指向该列表对象的引用都受影响。
因此,在操作列表时,如果通过元素引用改变了某个元素,那么列表对象自身会发生改变(in-place change)。列表这种自身能发送改变的对象,称为可变对象(Mutable Object)。我们之前见过的词典也是可变数据对象。但之前的整数、浮点数和字符串,则不能改变对象本身。赋值最多只能改变引用的指向。这种对象称为不可变对象(Immutable Object)。元组包含多个元素,但这些元素不可以进行赋值,所有也是不可变数据对象。
3. 从动态类型看函数的参数传递
函数的参数传递,本质上传递的是引用,比如:
def f(x):
print(id(x))
x = 100
print(id(x))
a = 1
print(id(a))
f(a)
print(a) # 打印出的第二行,可以看到id发生了变化
参数x是一个新的引用。当我们调用函数f时,a作为数据传递给函数,因此x会指向a所指的对象,也就是进行一次赋值操作。如果a是不可变对象,那么引用a和x之间相互独立,即对参数x操作不会影响引用a。
如果传递的是可变对象,那么情况就发生了变化:
def f(x):
x[0] = 100
print(x)
a = [1, 2, 3]
f(a)
print(a) # 打印[100, 2, 3]
上面的函数中,a指向一个可变的列表。在函数调用时,a把指向传给了参数x。这时,a和x两个引用都指向了同一个可变的列表。根据前文介绍我们知道,通过一个引用操作可变对象,会影响到其他的引用。程序的运行结果同样说明了这一点。打印a时,结果变成了[100, 2, 3]。即函数内部对列表的操作,会被外部的引用a“看到”。编程时要对此问题留心。
6.4 内存管理
1. 引用管理
语言的内存管理是语言设计的一个重要方面,它是决定语言性能的重要因素。无论是C语言的手工管理,还是Java的垃圾回收,都成为语言最重要的特征。这里以Python语言为例,来说明一门动态类型的、面向对象的语言的内存管理方式。
首先我们要明确,对象内存管理是基于对引用的管理。我们已经提到,在Python中,引用和对象分离。一个对象可以有多个引用,而每个对象中存有指向该对象的引用总数,即引用计数(Reference Count)。我们可以使用标准库sys包中的getrefcount(),来查看某个对象的引用计数。需要注意的是,当使用某个引用作为参数,传递给getrefcount()时,参数实际上是创建了一个临时引用。因此,getrefcount()所得到的结果,会比期望的多1:
from sys import getrefcount
a = [1, 2, 3]
print(getrefcount(a))
b = a
print(getrefcount(b))
处于上述原因,两个getrefcount()将返回2和3,而不是期望的1和2。
pycharm的debug会影响getrefcount()的返回值。
2. 对象引用对象
我们之前提到了一些可变对象,如列表和词典。它们都是数据容器对象,也可以包含多个对象。实际上,容器对象中包含的并不是对象元素本身,而是指向各个元素对象的引用。我们也可以自定义一个对象,并引用其他对象:
class from_obj(object):
def __init__(self,to_obj):
self.to_obj = to_obj
b = [1,2,3]
a = from_obj(b)
print(id(a.to_obj))
print(id(b))
可以看到,a引用了对象b。对象引用对象,在Python中十分常见。比如在主程序使用a=1,会把引用关系存入到一个词典中。该词典对象用于记录所有的全局引用。赋值a=1,实际上是让词典中一个键值为"a"的元素引用整数对象1。我们可以通过内置函数globals()
来查看该词典。
当一个对象a被另一个对象b引用时,a的引用计数将增加1:
from sys import getrefcount
a = [1,2,3]
print(getrefcount(a))
b = [a, a]
print(getrefcount(b))
print(getrefcount(a))
输出为:
2
2
4
因为对象b引用了两次a,因此a的引用计数增加了2.
容器对象的引用可能会构成很复杂的拓扑结构,如下图所示。我们可以用objgraph包来绘制其引用关系。objgraph是Python的一个第三方包,可以用pip安装。
x = [1,2,3]
y = [x, dict(key1=x)]
z = [y, (x,y)]
import objgraph
objgraph.show_refs([z],filename="ref_topo.png") # 第二个参数说明了了绘图文件的文件名
两个对象可能相互引用,从而构成所谓的引用环(Reference Cycle)
a = []
b = [a]
a.append(b)
即便是单个对象,只需要自己引用自己,也能构成引用环。
from sys import getrefcount
a = []
a.append(a)
print(getrefcount(a))
引用环会给垃圾回收机制带来很大的麻烦。
某个对象的引用计数可能减少。比如,可以使用del关键字删除某个引用:
from sys import getrefcount
a = [1,2,3]
b = a
print(getrefcount(b))
del a
print(getrefcount(b))
输出为:
3
2
我们前面提到过,del也可以用于删除容器中的元素,比如:
a = [1,2,3]
del a[0]
print(a)
如果某个引用指向对象a,那么当这个引用被重新定向到某个其他对象b时,对象a的引用计数将减少:
from sys import getrefcount
a = [1,2,3]
b = a
print(getrefcount(b))
a = 1
print(getrefcount(b))
3. 垃圾回收
当Python中的对象越来越多时,它们将占据越来越大的内存。Python会在适当的时候启动垃圾回收(Garbage Collection),将没用的对象清除。
原理上,当Python的某个对象的引用计数降为0,即没有任何引用指向该对象时,该对象就成为要被回收的垃圾了。比如某个新建的对象,它被分配给某个引用。如果引用被删除,对象的引用计数为0,那么该对象就可以被垃圾回收。比如下面的表:
a = [1, 2, 3]
del a
del a后,已经没有任何引用指向之前建立的[1, 2, 3]这个表了,即用户不可能通过任何方式接触或者动用这个对象。这个对象如果继续呆在内存里,就会成为内存垃圾。当垃圾回收机制启动时,Python扫描到这个引用计数为0的对象,就会将它占据的内存清空。
垃圾回收时,Python不能进行其他的任务。频繁的垃圾回收将大大降低Python的工作效率。如果内存中的对象不多,就没有必要频繁启动垃圾回收。所以Python只会在特定条件下,自动启动垃圾回收。当Python运行时,会记录其中分配对象(Object Allocation)和取消分配对象(Object Deallocation)的次数。当两者的差值高于某个阈值时,垃圾回收才会启动。
我们可以通过gc
模块的get_threshold()
方法,查看该阈值:
import gc
print(gc.get_threshold())
返回(700, 10, 10),后面的两个10是与分代回收相关的阈值。700即垃圾回收启动的阈值。可以通过gc中的set_threshold()
方法重新设置。当然,我们也可以手动启动垃圾回收,即使用gc.collect()
。
除了上面的基础回收方式外,Python同时还采用了分代(Generation)回收的策略。这一策略的基本假设是,存活时间越久的对象,越不可能在后面的程序中变成垃圾。我们的程序往往会产生大量的对象,许多对象很快产生和消失,但也有一些对象长期被使用。处于信任和效率,对于这样一些“长寿”的对象,我们相信它还有用处,所以减少在垃圾回收中扫描它们的频率。
Python将所有的对象分为0、1、2三代。所有新建对象都是0代对象。当某一代对象经历过垃圾回收,依然存活,那么它就被归入下一代对象。垃圾回收启动时,一定会扫描所有的0代对象。如果0代经过一定次数的垃圾回收,那么就启动对0代和1代的扫描清理。当1代也经历了一定次数的垃圾回收,就会启动对0、1、2代的扫描,即对所有对象进行扫描。
这两个次数即上面get_threshold()返回的(700,10,10)返回的两个10。也就是说,每10次0代垃圾回收,会配合1次1代垃圾回收;而每10次1代垃圾回收,才会有一次2代的垃圾回收。
同样可以用set_threshold()来调整次数,比如对2代对象进行更频繁的扫描
import gc
gc.set_threshold(700,10,5)
4. 孤立的引用环
引用环的存在会给上面的垃圾回收机制带来很大的困难。这些引用环可能构成无法使用,但引用计数不为0的一些对象:
a = []
b = [a]
a.append(b)
del a
del b
上面我们先创建了两个表对象,并引用对方,构成一个引用环。删除了a、b引用之后,这两个对象不可能再从程序中调用,因而就没有什么用处了。但是由于引用环的存在,这两个对象的引用计数都没有降到0,所以不会被垃圾回收。
为了回收这样的引用环,Python会复制每个对象的引用计数,可以即为gc_ref
。假设,每个对象i,该计数为gc_ref_i
。Python会遍历所有的对象i。对于每个对象i所引用的对象j,将相应的gc_ref_j
减1,遍历后的结果如图6-3所示。
在结束遍历后,gc_ref
不为0的对象,和这些对象引用的对象,以及继续更下游引用的对象,需要被保留,而其他的对象则被垃圾回收。
Python作为一门动态类型的语言,其对象和引用分离。为了有效地释放内存,Python内置了垃圾回收的支持。Python采取了一种相对简单的垃圾回收机制,即引用计数,并因此需要解决孤立引用环的问题。Python与其他语言既有共通性,又有特别的地方。对内存管理机制的理解,是提高Python性能的重要一步。