框架代码
文章平均质量分 77
QingerBig
这个作者很懒,什么都没留下…
展开
-
fairseq源码分析(三)——fairseq的task
本想第三篇博客中详细的讨论一下模型的训练流程,但其中涉及许多的task、model、criterions、generate等细节,所以打算先将fairseq的一些基础组件介绍清楚,再进行整体流程的介绍。什么是Task?fairseq对task的解释如下:Tasks store dictionaries and provide helpers for loading/iterating overDatasets, initializing the Model/Criterion and calcul原创 2021-04-01 10:37:37 · 1652 阅读 · 0 评论 -
fairseq源码分析(四)—— 训练一个模型fairseq都干了啥之train.py
框架的执行流程主要如下:首先被调用的为最外层的train.py,在调用train.py时,fairseq会读取你的命令行参数,并根据命令行参数内的信息,生成相应的分布式策略,其调用流程如下:分布式fairseq共支持以下三种训练方式,分别为单GPU,分布式训练,单节点多GPU。下面就单节点多GPU的分布式训练策略做一下简单的介绍: if args.distributed_init_method is not None: # distributed training原创 2021-03-31 21:05:51 · 2550 阅读 · 2 评论 -
fairseq源码分析(一)——fairseq简介与安装
写在前面的话最近一直在阅读fairseq源码,发现关于fairseq的资源除了官方文档,没太有其他的资源,故想做一期关于fairseq源码的分享,也为了帮助更多入门nlp的人,同时也请大家批评指正。本文所使用的fairseq版本为fairseq-0.6.2,工作环境为macbook pro+pycharm+redhat服务器(8 X Nvidia RTX 2080)。首先让我们来看一下什么是fairseq官网对于fairseq的介绍如下:Fairseq(-py) is a sequence mo原创 2021-03-31 10:47:40 · 4042 阅读 · 2 评论