深入浅出腾讯BERT推理模型--TurboTransformers

Overview

TurboTransformers是腾讯最近开源的BERT推理模型，它的特点就是一个字，快。本人用BERT（huggingface/transformers）在V100上做了测试，测试结果和官宣的基本一致：TurboTransformers的推理速度要比Pytorch快上1~4倍。

它之所以快，是因为它是专用于BERT的轻量级推理模型。

分层

不管是计算机的硬件、软件，还是现在的深度学习，它们都遵循着一个很重要的设计思想–分层：

• 用简单的代码（或电路）来实现一个基本功能组件。
• 用几个基本组件组合成一个功能更强的复杂组件。
• 从简单到复杂，像搭积木一样，一层层地搭建出拥有很强功能的组件。

开发者只需要基于PyTorch的几个基本组件就能搭建出BERT模型，而且这些组件本身对他们来说都是透明的。正因如此，PyTorch才越来越受到研究者青睐。