【金猿技术展】高性能NLP序列推理实践——Lightseq

火山引擎技术

该技术由火山引擎申报并参与“数据猿年度金猿策划活动——2020大数据产业创新技术突破榜榜单及奖项”评选。

大数据产业创新服务媒体

——聚焦数据 · 改变商业

---

自2017年Google提出Transformer模型，以其为基础的特征提取方法，推动了众多自然语言处理任务能力水平的提升，与此同时，模型的参数量和推理延迟也呈现近乎指数增长。以机器翻译为例，目前WMT比赛中SOTA模型已经达到了50层以上。

目前主流深度学习框架，主要面临两大问题：一是翻译时间太长，时长直接影响用户体验；二是单卡QPS（每秒查询率）太低，导致客户服务成本过高。

LightSeq 团队对以Transformer为基础的序列特征提取器（Encoder）和自回归的序列解码器（Decod