手把手教你实现Python的动态代理

最近有个以前培训班的学员问我Python有没有类似与Java动态代理的机制?他想通过类似Java动态代理的机制对类的所有方法调用日志功能。查了一下,虽然Python官方没有提供这个功能,但是作为一门提供了反射机制的动态语言,我们妥妥的可以自己撸一个啊。

如果再阅读本文有什么不清楚的地方,建议先阅读廖雪峰老师教程的以下章节:

  • 函数:函数的参数(主要看可变参数)
  • 函数式编程:装饰器
  • 面向对象编程

首先我们复习一下装饰器的实现,装饰器本质是一个高阶函数,通过封装对原油函数的调用,增强了原有函数的功能。

def log(func):
  def wrapper(*args, **kws):
    print('Call %s' % func.__name__)
    ret = func(*args, **kws)
    print('Finish call %s' % func.__name__)
    return ret
  return wrapper

@log
def add(x, y):
  return x + y

z = add(1, 2)
print(z)

'''
输出如下:
Call add
Finish call add
3
'''

以上例子我们是通过装饰器增强了一个函数,那么如何通过装饰器增强一个类的所有方法呢?在展开具体实现之前,我们先介绍一下以下两个知识点:

  • ()方法,如果你曾经接触过C++的仿函数概念,那么对重载()操作符不陌生。Python提供了__call__方法实现这个功能。
class Sample:
  def __init__(self, x, y):
    self.x = x
    self.y = y

  def __call__(self):
    return self.x + self.y

s = Sample(100, 200)
print(s())

'''
输出如下:
300
'''
  • 当我对原来的类进行了封装之后,如何拦截对原有类的属性访问和方法调用?
    • 不管是s.xxx访问属性,还是s.yyy()调用方法,都必须先通过__getattr__检查xxx属性或yyy方法是否存在。
    • 重新实现__getattr__方法即可拦截访问。
class Wrapper:
  def __init__(self, obj):
    self.obj = obj

  def __getattr__(self, attr):
    ret = None # 可以找不到返回None,也可以抛出异常。
    if hasattr(self.obj, attr):
      ret = getattr(self.obj, attr)
    return ret

class Sample:
  def __init__(self, x, y):
    self.x = x
    self.y = y

  def add(self):
    return self.x + self.y

  def minus(self):
    return self.x - self.y

w = Wrapper(Sample(100, 200))
print(w.x)
print(w.y)
print(w.add())
print(w.minus())

'''
输出如下:
100
200
300
-100
'''

上面准备知识介绍完毕,下面我们就要展开具体实现了。

  • 实现一个类用于对方法进行增强,这个类有两个参数,分别是方法属于的对象(这个实际根据需要可选)和要增强的方法。
class LogProxy:
  def __init__(self, obj, method):
    self.obj = obj
    self.method = method

  def __call__(self, *args, **kws):
    print('Log: ' + str(self.obj) + ' call ' + self.method.__name__)
    ret = self.method(*args, **kws)
    print('Log: ' + str(self.obj) + ' call ' + self.method.__name__ + ' finished')
  • 我们必须有一个类,封装原有的对象,同时在调用原有对象方法的时候,动态生成上面的代理类用于实现功能增强。同时为了效率,还必须缓存已经创建的代理类。
import types

class Proxy:
  def __init__(self, clz, pclz):
    self.clz = clz
    self.pclz = pclz
    self.proxies = {} # 查表提高效率

  def __call__(self, *args, **kws):
    self.obj = self.clz(*args, **kws) # 调用被代理类的构造函数创建实例
    return self

  def __getattr__(self, attr): # 调用方法之前需要通过getattr查找方法
    ret = None
    if hasattr(self.obj, attr): # 查看被代理实例成员是否存在
      ret = getattr(self.obj, attr)
      if isinstance(ret, types.MethodType): # 如果该成员是方法
        if ret not in self.proxies: # 如果该方法的代理没有被生成
          self.proxies[ret] = self.pclz(self.obj, ret) # 创建该方法的代理
        return self.proxies[ret]
    return ret
  • 实现一个工厂类,用于创造一个Proxy对象进行代理。同时这个类用作装饰器,套在要代理的类外面。
class ProxyFactory:
  def __init__(self, pclz):
    self.pclz = pclz

  def __call__(self, clz):
    return Proxy(clz, self.pclz)
  • 最后,整合以上代码实现一个小例子:
@ProxyFactory(LogProxy)
class Sample:
  def __init__(self, name):
    self.name = name

  def print_name(self):
    print(self.name)

if __name__ == '__main__':
  s = Sample('xxx')
  s.print_name()
  print('s.name: %s' % s.name)

'''
输出如下:
Log: <__main__.Sample object at 0x7f8edd6020b8> call print_name
xxx
Log: <__main__.Sample object at 0x7f8edd6020b8> call print_name finished
s.name: xxx
'''

现在我们来解释一下代码的执行顺序,之后可以自己加日志跟踪一下代码是如何执行的。

  1. 构造Sample对象的顺序:
    1. ProxyFactory调用构造函数构造对象pf,参数为LogProxy类(参数是类,不是实例!)。
    2. pf调用__call__方法,参数为Sample类,返回一个Proxy对象proxy。
    3. proxy调用__call__方法,拦截了原有的构造函数调用,在内部构造了Sample对象sample。
  2. 访问属性(对应代码:s.name)
    1. 调用proxy对象的__getattr__方法
    2. 访问内部的sample对象(self.obj),检查attr是否存在。
    3. 不存在,返回None,也可以抛出异常。根据实际情况可以选择不同的实现方式。
    4. 如果存在,且类型不是方法types.MethodType,则直接返回属性值。
  3. 调用方法(对应代码:s.print_name())
    1. 与访问属性的步骤一样,直到第4步,判断类型必须是方法。
    2. 检查缓存,是否已构造该方法的代理对象。如果有,直接返回,如果没有,构造,然后放入缓存再返回。
    3. 返回后调用代理对象的__call__方法,调用增强后的方法。
  • 3
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,我可以为您提供一些关于使用Python代码实现Transformer的指导。 首先,您需要安装PyTorch和torchtext库。然后,您可以按照以下步骤实现Transformer模型: 1. 定义输入和输出的词汇表,并使用torchtext库加载数据集。 2. 定义Transformer模型的编码器和解码器部分。 3. 实现自注意力机制(self-attention)和前向神经网络(feed-forward network)。 4. 实现残差连接(residual connection)和层归一化(layer normalization)。 5. 定义Transformer模型的训练和评估过程。 下面是一个简单的示例代码,用于实现一个基本的Transformer模型: ```python import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from torchtext.datasets import TranslationDataset, Multi30k from torchtext.data import Field, BucketIterator # 定义输入和输出的词汇表 SRC = Field(tokenize='spacy', tokenizer_language='de', init_token='<sos>', eos_token='<eos>', lower=True) TRG = Field(tokenize='spacy', tokenizer_language='en', init_token='<sos>', eos_token='<eos>', lower=True) # 加载数据集 train_data, valid_data, test_data = Multi30k.splits(exts=('.de', '.en'), fields=(SRC, TRG)) SRC.build_vocab(train_data, min_freq=2) TRG.build_vocab(train_data, min_freq=2) # 定义Transformer模型的编码器和解码器部分 class Encoder(nn.Module): def __init__(self, input_dim, hid_dim, n_layers, n_heads, pf_dim, dropout, device): super().__init__() self.device = device self.tok_embedding = nn.Embedding(input_dim, hid_dim) self.pos_embedding = nn.Embedding(1000, hid_dim) self.layers = nn.ModuleList([EncoderLayer(hid_dim, n_heads, pf_dim, dropout, device) for _ in range(n_layers)]) self.dropout = nn.Dropout(dropout) self.scale = torch.sqrt(torch.FloatTensor([hid_dim])).to(device) def forward(self, src, src_mask): # src: [batch_size, src_len] # src_mask: [batch_size, 1, 1, src_len] batch_size = src.shape[0] src_len = src.shape[1] pos = torch.arange(0, src_len).unsqueeze(0).repeat(batch_size, 1).to(self.device) # pos: [batch_size, src_len] src = self.dropout((self.tok_embedding(src) * self.scale) + self.pos_embedding(pos)) for layer in self.layers: src = layer(src, src_mask) return src class EncoderLayer(nn.Module): def __init__(self, hid_dim, n_heads, pf_dim, dropout, device): super().__init__() self.self_attn_layer_norm = nn.LayerNorm(hid_dim) self.ff_layer_norm = nn.LayerNorm(hid_dim) self.self_attention = MultiHeadAttentionLayer(hid_dim, n_heads, dropout, device) self.positionwise_feedforward = PositionwiseFeedforwardLayer(hid_dim, pf_dim, dropout) self.dropout = nn.Dropout(dropout) def forward(self, src, src_mask):

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值