高内聚,低耦合
作为facebook这样大厂出品的框架,其架构设计一定非常遵循设计模式的各项原则,其基本的一条就是高内聚、低耦合,那么如何实现各部分的解耦,并能灵活的调用各个组件呢?
答案是使用了注册的机制,这种机制实际上是利用的python中的装饰器。
装饰器?
简单的回顾一下装饰器的概念,我理解的装饰器的概念为:在不修改原有方法的前提下,为已存在的方法增加功能。
例如:
# 定义装饰器
def dec(func):
def wapper(*args,**kargs):
print("my name is :"+func.__name__)
return func(*args,**kargs)
return wapper
# 使用装饰器
@dec
def f():
print("f")
f()
上述程序在最终调用f时,f已经是一个被包装好的对象了,其输出为
my name is f
f
那么我们已经知道了什么是装饰器,那么fairseq又是怎么通过装饰器来完成各个组件的注册的呢?
注册
在这里我们以model的注册为例进行讲解,model是我们实际训练时加载的模型,在fairseq/models下存放着许多模型结构,这里我们以transformer为例对该机制进行讲解,在文件的开始我们可以看到
这个模型即被一个名为register_model的装饰器所装饰,那么这样的做法为什么就能起到注册模型的作用呢?
答案就是python package中的__init__.py文件,在加载python包时,会首先调用__init__.py文件并执行其中的一些指令,该文件可以为空,也可以书写一些代码,指定一些规则。
在fairseq中的fairseq/models中的__init__.py文件中,我们可以看到,
register_model实际上是在检查我们注册模型时所起的名字是否冲突,如果不冲突,则将其加入一个列表当中。并在接下来将该列表通过argparse,传递给框架的其他部分。其具体代码如下:
到这就完成了模型的注册,那么当我们想使用模型时,如何通过已经注册的模型的名字完成模型的构建呢?
构建
我们在train.py中可以找到这一调用流程,train.py是fairseq训练模型时最为重要的一个文件,关于train.py的讲解,我准备放在第三或第四个系列博客中更新,本处还是聚焦于模型注册机制的讲解。
在train.py中我们可以看到:
模型的创建是通过task中的build_model方法,那么定位到该方法我们可以看到,它实际上还是通过models下__init__.py文件中法方法实现的:
让我们再次回到fairseq/models/init.py中,我们就可以看到:
兜兜转转又回到了最初的起点,通过该方法便可以直接调用相应模型的build方法了。
以上的注册过程对task、criterion、model等等一系列组件都是有效的,这里就不再赘述,后续的内容持续更新中。