fairseq源码分析(二)——fairseq注册机制

高内聚,低耦合

作为facebook这样大厂出品的框架,其架构设计一定非常遵循设计模式的各项原则,其基本的一条就是高内聚、低耦合,那么如何实现各部分的解耦,并能灵活的调用各个组件呢?
答案是使用了注册的机制,这种机制实际上是利用的python中的装饰器。

装饰器?

简单的回顾一下装饰器的概念,我理解的装饰器的概念为:在不修改原有方法的前提下,为已存在的方法增加功能。
例如:

# 定义装饰器
def dec(func):
	def wapper(*args,**kargs):
		print("my name is :"+func.__name__)
		return func(*args,**kargs)
	return wapper
# 使用装饰器
@dec
def f():
	print("f")

f()

上述程序在最终调用f时,f已经是一个被包装好的对象了,其输出为

my name is f
f

那么我们已经知道了什么是装饰器,那么fairseq又是怎么通过装饰器来完成各个组件的注册的呢?

注册

在这里我们以model的注册为例进行讲解,model是我们实际训练时加载的模型,在fairseq/models下存放着许多模型结构,这里我们以transformer为例对该机制进行讲解,在文件的开始我们可以看到
在这里插入图片描述
这个模型即被一个名为register_model的装饰器所装饰,那么这样的做法为什么就能起到注册模型的作用呢?
答案就是python package中的__init__.py文件,在加载python包时,会首先调用__init__.py文件并执行其中的一些指令,该文件可以为空,也可以书写一些代码,指定一些规则。
在fairseq中的fairseq/models中的__init__.py文件中,我们可以看到,
在这里插入图片描述
register_model实际上是在检查我们注册模型时所起的名字是否冲突,如果不冲突,则将其加入一个列表当中。并在接下来将该列表通过argparse,传递给框架的其他部分。其具体代码如下:
在这里插入图片描述
到这就完成了模型的注册,那么当我们想使用模型时,如何通过已经注册的模型的名字完成模型的构建呢?

构建

我们在train.py中可以找到这一调用流程,train.py是fairseq训练模型时最为重要的一个文件,关于train.py的讲解,我准备放在第三或第四个系列博客中更新,本处还是聚焦于模型注册机制的讲解。
在train.py中我们可以看到:
在这里插入图片描述
模型的创建是通过task中的build_model方法,那么定位到该方法我们可以看到,它实际上还是通过models下__init__.py文件中法方法实现的:
在这里插入图片描述

让我们再次回到fairseq/models/init.py中,我们就可以看到:
在这里插入图片描述
兜兜转转又回到了最初的起点,通过该方法便可以直接调用相应模型的build方法了。

以上的注册过程对task、criterion、model等等一系列组件都是有效的,这里就不再赘述,后续的内容持续更新中。

  • 6
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值