python 描述符_Python黑魔法之描述符

引言

Descriptors(描述符)是Python语言中一个深奥但很重要的一个黑魔法,它被广泛应用于Python语言的内核,熟练掌握描述符将会为Python程序员的工具箱添加一个额外的技巧。本文我将讲述描述符的定义以及一些常见的场景,并且在文末会补充一下__getattr__,__getattribute__, __getitem__这三个同样涉及到属性访问的魔术方法。

描述符的定义

descr__get__(self, obj, objtype=None) --> valuedescr.__set__(self, obj, value) --> Nonedescr.__delete__(self, obj) --> None

只要一个object attribute(对象属性)定义了上面三个方法中的任意一个,那么这个类就可以被称为描述符类。

描述符基础

下面这个例子中我们创建了一个RevealAcess类,并且实现了__get__方法,现在这个类可以被称为一个描述符类。

class RevealAccess(object):def __get__(self, obj, objtype):print('self in RevealAccess: {}'.format(self))print('self: {}\nobj: {}\nobjtype: {}'.format(self, obj, objtype))class MyClass(object):x = RevealAccess()def test(self):print('self in MyClass: {}'.format(self))

EX1实例属性

接下来我们来看一下__get__方法的各个参数的含义,在下面这个例子中,self即RevealAccess类的实例x,obj即MyClass类的实例m,objtype顾名思义就是MyClass类自身。从输出语句可以看出,m.x访问描述符x会调用__get__方法。

>>> m = MyClass()>>> m.test()self in MyClass: <__main__.myclass>>>> m.xself in RevealAccess: <__main__.revealaccess>self: <__main__.revealaccess>obj: <__main__.myclass>objtype: 

EX2类属性

如果通过类直接访问属性x,那么obj接直接为None,这还是比较好理解,因为不存在MyClass的实例。

>>> MyClass.xself in RevealAccess: <__main__.revealaccess>self: <__main__.revealaccess>obj: Noneobjtype: 

描述符的原理

描述符触发

上面这个例子中,我们分别从实例属性和类属性的角度列举了描述符的用法,下面我们来仔细分析一下内部的原理:

如果是对实例属性进行访问,相当于调用了object.__getattribute__(),它将obj.d转译成了type(obj).__dict__['d'].__get__(obj, type(obj))。

如果是对类属性进行访问,相当于调用了type.__getattribute__(),它将cls.d转译成了cls.__dict__['d'].__get__(None, cls),转换成Python代码就是:

def __getattribute__(self, key):"Emulate type_getattro() in Objects/typeobject.c"v = object.__getattribute__(self, key)if hasattr(v, '__get__'):return v.__get__(None, self)return v

简单讲一下__getattribute__魔术方法,这个方法在我们访问一个对象的属性的时候会被无条件调用,详细的细节比如和__getattr, __getitem__的区别我会在文章的末尾做一个额外的补充,我们暂时并不深究。

描述符优先级

首先,描述符分为两种:

如果一个对象同时定义了__get__()和__set__()方法,则这个描述符被称为data descriptor。

如果一个对象只定义了__get__()方法,则这个描述符被称为non-data descriptor。

我们对属性进行访问的时候存在下面四种情况:

data descriptor

instance dict

non-data descriptor

__getattr__()

它们的优先级大小是:

data descriptor > instance dict > non-data descriptor > __getattr__()

这是什么意思呢?就是说如果实例对象obj中出现了同名的data descriptor->d 和 instance attribute->d,obj.d对属性d进行访问的时候,由于data descriptor具有更高的优先级,Python便会调用type(obj).__dict__['d'].__get__(obj, type(obj))而不是调用obj.__dict__[‘d’]。但是如果描述符是个non-data descriptor,Python则会调用obj.__dict__['d']。

Property

每次使用描述符的时候都定义一个描述符类,这样看起来非常繁琐。Python提供了一种简洁的方式用来向属性添加数据描述符。

property(fget=None, fset=None, fdel=None, doc=None) -> property attribute

fget、fset和fdel分别是类的getter、setter和deleter方法。我们通过下面的一个示例来说明如何使用Property:

class Account(object):def __init__(self):self._acct_num = Nonedef get_acct_num(self):return self._acct_numdef set_acct_num(self, value):self._acct_num = valuedef del_acct_num(self):del self._acct_numacct_num = property(get_acct_num, set_acct_num, del_acct_num, '_acct_num property.')

如果acct是Account的一个实例,acct.acct_num将会调用getter,acct.acct_num = value将调用setter,del acct_num.acct_num将调用deleter。

>>> acct = Account()>>> acct.acct_num = 1000>>> acct.acct_num1000

Python也提供了

class Account(object):def __init__(self):self._acct_num = None    @property# the _acct_num property. the decorator creates a read-only propertydef acct_num(self):return self._acct_num    @acct_num.setter# the _acct_num property setter makes the property writeabledef set_acct_num(self, value):self._acct_num = value    @acct_num.deleterdef del_acct_num(self):del self._acct_num

如果想让属性只读,只需要去掉setter方法。

在运行时创建描述符

我们可以在运行时添加property属性:

class Person(object):def addProperty(self, attribute):# create local setter and getter with a particular attribute namegetter = lambda self: self._getProperty(attribute)setter = lambda self, value: self._setProperty(attribute, value)# construct property attribute and add it to the classsetattr(self.__class__, attribute, property(fget=getter, \fset=setter, \doc="Auto-generated method"))def _setProperty(self, attribute, value):print("Setting: {} = {}".format(attribute, value))setattr(self, '_' + attribute, value.title())def _getProperty(self, attribute):print("Getting: {}".format(attribute))return getattr(self, '_' + attribute)

>>> user = Person()>>> user.addProperty('name')>>> user.addProperty('phone')>>> user.name = 'john smith'Setting: name = john smith>>> user.phone = '12345'Setting: phone = 12345>>> user.nameGetting: name'John Smith'>>> user.__dict__{'_phone': '12345', '_name': 'John Smith'}

静态方法和类方法

我们可以使用描述符来模拟Python中的@classmethod的实现。我们首先来浏览一下下面这张表:

Transformation

Called from an Object

Called from a Class

function

f(obj, *args)

f(*args)

staticmethod

f(*args)

f(*args)

classmethod

f(type(obj), *args)

f(klass, *args)

静态方法

对于静态方法f。c.f和C.f是等价的,都是直接查询object.__getattribute__(c, ‘f’)或者object.__getattribute__(C, ’f‘)。静态方法一个明显的特征就是没有self变量。

静态方法有什么用呢?假设有一个处理专门数据的容器类,它提供了一些方法来求平均数,中位数等统计数据方式,这些方法都是要依赖于相应的数据的。但是类中可能还有一些方法,并不依赖这些数据,这个时候我们可以将这些方法声明为静态方法,同时这也可以提高代码的可读性。

使用非数据描述符来模拟一下静态方法的实现:

class StaticMethod(object):def __init__(self, f):self.f = fdef __get__(self, obj, objtype=None):return self.f

我们来应用一下:

class MyClass(object):    @StaticMethoddef get_x(x):return xprint(MyClass.get_x(100))  # output: 100

类方法

Python的@classmethod和类的引用而不关心类中的相应的数据的时候就需要使用classmethod了。

使用非数据描述符来模拟一下类方法的实现:

class ClassMethod(object):def __init__(self, f):self.f = fdef __get__(self, obj, klass=None):if klass is None:klass = type(obj)def newfunc(*args):return self.f(klass, *args)return newfunc

其他的魔术方法

首次接触Python魔术方法的时候,我也被__get__, __getattribute__, __getattr__, __getitem__之间的区别困扰到了,它们都是和属性访问相关的魔术方法,其中重写__getattr__,__getitem__来构造一个自己的集合类非常的常用,下面我们就通过一些例子来看一下它们的应用。

__getattr__

Python默认访问类/实例的某个属性都是通过__getattribute__来调用的,__getattribute__会被无条件调用,没有找到的话就会调用__getattr__。如果我们要定制某个类,通常情况下我们不应该重写__getattribute__,而是应该重写__getattr__,很少看见重写__getattribute__的情况。

从下面的输出可以看出,当一个属性通过__getattribute__无法找到的时候会调用__getattr__。

In [1]: class Test(object):...:     def __getattribute__(self, item):...:         print('call __getattribute__')...:         return super(Test, self).__getattribute__(item)...:     def __getattr__(self, item):...:         return 'call __getattr__'...:In [2]: Test().acall __getattribute__Out[2]: 'call __getattr__'

应用

对于默认的字典,Python只支持以obj['foo']形式来访问,不支持obj.foo的形式,我们可以通过重写__getattr__让字典也支持obj['foo']的访问形式,这是一个非常经典常用的用法:

class Storage(dict):"""A Storage object is like a dictionary except `obj.foo` can be usedin addition to `obj['foo']`."""def __getattr__(self, key):try:return self[key]except KeyError as k:raise AttributeError(k)def __setattr__(self, key, value):self[key] = valuedef __delattr__(self, key):try:del self[key]except KeyError as k:raise AttributeError(k)def __repr__(self):return ''

我们来使用一下我们自定义的加强版字典:

>>> s = Storage(a=1)>>> s['a']1>>> s.a1>>> s.a = 2>>> s['a']2>>> del s.a>>> s.a...AttributeError: 'a'

__getitem__

getitem用于通过下标[]的形式来获取对象中的元素,下面我们通过重写__getitem__来实现一个自己的list。

class MyList(object):def __init__(self, *args):self.numbers = argsdef __getitem__(self, item):return self.numbers[item]my_list = MyList(1, 2, 3, 4, 6, 5, 3)print my_list[2]

这个实非常的简陋,不支持slice和step等功能,请读者自行改进,这里我就不重复了。

应用

下面是参考requests库中对于__getitem__的一个使用,我们定制了一个忽略属性大小写的字典类。

程序有些复杂,我稍微解释一下:由于这里比较简单,没有使用描述符的需求,所以使用了@property装饰器来代替,lower_keys的功能是将实例字典中的键全部转换成小写并且存储在字典self._lower_keys中。重写了__getitem__方法,以后我们访问某个属性首先会将键转换为小写的方式,并不会直接访问实例字典,而是会访问字典self._lower_keys去查找。赋值/删除操作的时候由于实例字典会进行变更,为了保持self._lower_keys和实例字典同步,首先清除self._lower_keys的内容,以后我们重新查找键的时候再调用__getitem__的时候会重新新建一个self._lower_keys。

class CaseInsensitiveDict(dict):    @propertydef lower_keys(self):if not hasattr(self, '_lower_keys') or not self._lower_keys:self._lower_keys = dict((k.lower(), k) for k in self.keys())return self._lower_keysdef _clear_lower_keys(self):if hasattr(self, '_lower_keys'):self._lower_keys.clear()def __contains__(self, key):return key.lower() in self.lower_keysdef __getitem__(self, key):if key in self:return dict.__getitem__(self, self.lower_keys[key.lower()])def __setitem__(self, key, value):dict.__setitem__(self, key, value)self._clear_lower_keys()def __delitem__(self, key):dict.__delitem__(self, key)self._lower_keys.clear()def get(self, key, default=None):if key in self:return self[key]else:return default

我们来调用一下这个类:

>>> d = CaseInsensitiveDict()>>> d['ziwenxie'] = 'ziwenxie'>>> d['ZiWenXie'] = 'ZiWenXie'>>> print(d){'ZiWenXie': 'ziwenxie', 'ziwenxie': 'ziwenxie'}>>> print(d['ziwenxie'])ziwenxie# d['ZiWenXie'] => d['ziwenxie']>>> print(d['ZiWenXie'])ziwenxie

References

HOWTO-GUIDE

DOCUMENTATION

IBM-DEVELOPWORKS

ZHIHU

REQUESTS

WEBPY

在生活中学会不断挖掘自己的潜力。我们都是一个普通人,可能并不清楚自己到底在哪方面占有优势。所以,学着在生活中找到自己的优势,并根据优势选择一定的就业方向。

不随波逐流。不要看周围的人做什么,自己就做什么,也许别人做的并不适合你。别人的优势很可能会成为你的劣势。所以,坚定自己的想法,让自己知道那些方面适合自己,自己可以胜任。

不断尝试可能成为自己的优势。你不知道什么适合自己,所以才要大胆、勇敢地尝试。找到一种可以属于你的独特的优势。

坚定信念。一旦你坚定了自己的信念,就不要被别人的意见或是讽刺或是嘲笑所干扰。别人不是你,不懂的你在想什么,不清楚你开始这件事的源头。你的事情,不了解你的人,没有资格轻易评说。

不茫然,不多想。别让太多的事干扰到你奋斗下去的信念。梦想不容许太多的杂念。那些杂念只会让你的心愈来愈脆弱,多为一个人考虑,到头来,伤害的还是自己。

选择自己学习方法

每个人都有适合自己的方法,有的人去选择自学,有的人选择看视频学习,有的人选择报名培训班,那在这个时候,你就要自己考虑清楚,到底那样对的帮助是最大的,个人觉得是跟着培训班最好的,毕竟人家的实战项目多,我们学软件开发的都知道实战项目对于学好一门语言是 很重要的。

学习python有那些误区

具体里面的误区非常的多,那些就不需要我去写出来,我给你说的一般都是心态的问题,首先一个觉得自己会java和c++,然后我学习python就很牛,但是你要知道语言是有很多相同的地方,但是不是通用,一定要自己学习的仔细。还有一种就是觉得我不会英语,我要先去把英语学习好在来学python。因为自己想还坏主意然后学习,这样的都是容易找进误区的。

怎么样才能学好python学好python你需要一个良好的环境,一个优质的开发交流群,群里都是那种相互帮助的人才是可以的,我有建立一个python学习交流群,在群里我们相互帮助,相互关心,相互分享内容,这样出问题帮助你的人就比较多,群号是301,还有056,最后是051,这样就可以找到大神聚合的群,如果你只愿意别人帮助你,不愿意分享或者帮助别人,那就请不要加了,你把你会的告诉别人这是一种分享。

学习是对自己最好的投资,而机会属于有准备的人,这是一个看脸的时代,但最终拼的是实力。人和人之间的差距不在于智商,而在于如何利用业余时间,所以没有等出来的辉煌,只有干出来的精彩。其实只要你想学习,什么时候开始都不晚,不要担心这担心那,你只需努力,剩下的交给时间,而你之所以还没有变强,只因你还不够努力,要记得付出不亚于任何人的努力。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值