Faster Transformer

背景

Transformer自2017年的《Attention is All you Need》提出以来，成为通用高效的特征提取器。虽然其在NLP/TTS/ASR/CV等多个领域表现优异，但在推理部署阶段，其计算性能却存在巨大挑战，以BERT为原型的多层Transformer模型，其性能难以满足在线业务对低延迟和高吞吐的要求，以BERT-BASE为例，超过90%的计算时间消耗在12层Tranformer的前向计算上。

介绍

Faster Transformer是一个BERT Transformer单层前向计算的高效实现。底层由CUDA和cuBLAS实现，支持FP16和FP32两种计算模式，其中FP16可以充分利用Volta和Turing架构GPU上的Tensor Core计算单元。
Faster Transformer共接收4个输入参数，首先是attention head的数量以及每个head的维度。这两个参数是决定Transformer网络结构的关键参数。其余两个参数是batch size和句子最大长度。

Faster Transformer提供了Tensorflow OP, C++ API和TensorRT Plugin三种接口。

https://github.com/NVIDIA/FasterTransformer