1 万 Star！来自 Facebook 的翻译模型：Fairseq

【导语】：Fairseq是一个序列建模工具包，可对翻译、摘要、语言建模和其他文本作业训练自定义建模，完全使用python实现，主要面向科研人员和开发者。 

简介

Fairseq 这个翻译模型由Facebook AI实验室在2017年提出，和以往以RNN为基础的翻译模型相比，使用一种全新的卷积神经网络（CNN）进行语言翻译，结果以 9 倍于以往循环神经网络（CNN）的速度实现了目前最高准确率。

项目地址： https://github.com/pytorch/fairseq

特点

• 单机多GPU训练或者多机器并行（数据和模型并行）

• CPU和GPU的快速生成基于多个搜索算法的实现：

  • 柱型搜索

  • 多样化柱型搜索

  • 抽样（无约束，top-k和top-p/nucleus） 

  • 词法约束译码(Post & Vilar, 2018)

• 梯度堆积可以在单个GPU上完成大量的小块训练

• 混合精度训练 (基于英伟达张量内核，可以用更少的GPU进行更快速的训练)

• 可拓展：注册新模型，测量规范，任务，优化器以及学习率的调度十