Facebook开源新NLP框架：简化部署流程，大规模应用也OK

铜灵 编译整理
量子位 出品 | 公众号 QbitAI

今天，Facebook开源了一个基于PyTorch的深度学习库PyText，想容易地构建和部署NLP系统。

Facebook在博客中介绍说，新框架具有多个特性，不仅能简化流程更快部署，还能调取众多预构建模型和程序方便大规模部署。

PyText开源的消息经Yann LeCun转推后，短时间引发了高额的点赞转发，一些网友称这是个“鹅妹子嘤”的项目。在Github今日热榜上，PyText排名第四。

核心功能

构建PyText的初衷，是想解决当前NLP任务中时间紧且需要大规模部署之间的矛盾。研究人员的大致思路分两步。

一是通过为模型组件提供简单可扩展的接口，二是导出模型用于推理。目前，PyText的核心功能有以下几点：

• 内含各种为NLP/NLU任务准备的模型

（如文本分类、序列标注、连接意图-槽位模型和上下文意图-槽位模型等。）

• 支持基于PyTorch 1.0中新的C10d后端构建的分布式训练

• 可以轻松创建新模型和任务的可扩展组件

• 支持整体训练

为了适应研究和生产的需要，Facebook还强调了框架的稳健性和低延迟性，目前，PyText已经应用于Facebook网站上，你和朋友视频/音频中的字幕生成功能就是它的功劳。每天可执行超过10亿次预测。

可以看出，模块化也是PyText的一大亮点，不仅支持从头创建新的pipeline，还可以修改现有的工作流程。除了分布式训练外，还支持一次训练多个模型。

传送门

官方博客地址：
https://code.fb.com/ai-research/pytext-open-source-nlp-framework/

GitHub代码：
https://github.com/facebookresearch/pytext

在论文PyText: A seamless path from NLP research to production中，研究人员详细介绍了PyText的原理：

https://research.fb.com/wp-content/uploads/2018/12/PyText-A-seamless-path-from-NLP-research-to-production-using-PyTorch3.pdf?

不花一分钱，你也能拥有Facebook同款框架了~

— 完 —

活动报名

加入社群

量子位AI社群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进专业群请在量子位公众号（QbitAI）对话界面回复关键字“专业群”，获取入群方式。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态