用 TensorFlow Extended 实现可扩展、快速且高效的 BERT 部署 (一)

文 / 由特邀作者 SAP Concur Labs 的高级机器学习工程师 Hannes Hapke 发布。由 Robert Crowe 代表 TFX 团队编辑。

Transformer 模型（尤其是 BERT 模型）为 NLP 带来巨大的变革，并且在情感分析、实体提取和问答问题等任务的处理上也均有新的突破。BERT 模型让数据科学家站在了巨人的肩膀上。各公司已经通过大型语料库对模型进行预训练，数据科学家可以对这些经过训练的多用途 Transformer 模型应用迁移学习，针对其所在领域的特定问题达成突破性解决方案。

• BERT 模型
  https://arxiv.org/abs/1810.04805

在 SAP 的 Concur Labs (www.concurlabs.com)，我们希望利用 BERT 来解决差旅与费用领域中出现的一些新问题。我们希望能够简化 BERT 推理。遗憾的是，我们曾尝试的解决方案都不太理想。

通过与 Google/TensorFlow 团队合作，采用其最新的开发成果，我们最终达成了目标：一致、简单且非常快速的 BERT 模型推理。利用他们所提议的实施方案，我们能够在几毫秒内完成从原始文本到分类的预测。让我们来看一下各种 TensorFlow 库和组件如何助力我们达成这一里程碑。

本文将为您简单介绍如何通过 TensorFlow 的生态系统实现可扩展、快速且高效的 BERT 部署。如果您有兴趣深入了解其实现过程，请查看本文的第二部分 (暂未发布)，了解有关实现步骤的详细信息。如果想尝试进行演示部署，请查看 Concur Labs 的演示页面 (bert.concurlabs.com)，其中有我们情感分类项目的相关展示。

关于 Serving 的一则注意事项

本文中讨论的方法支持开发人员利用 TensorFlow Extended (TFX) v0.21 或更高版本来训练 TensorFlow 模型。但是 TensorFlow Serving (v2.1) 的当前发行版中尚不包含对训练后模型所含的 tf.text 算子的支持，Nightly docker 发行版和 v2.2 发行版中将包含此类支持。

想要直接查看代码？

如果想转至完整示例，请查看 Colab 笔记本，其中有生成可部署 BERT 模型的完整 TensorFlow Extended (TFX) 流水线的相关展示，且模型计算图中还包含预处理步骤。

• Colab 笔记本