sikh_0529的博客

在过去的一年里，很多人都在关注中的变形金刚。除了在翻译质量上产生重大改进外，它还为许多其他 NLP 任务提供了新的架构。论文本身写得很清楚，但传统观点认为要正确实施是相当困难的。在这篇文章中，我以逐行实现的形式展示了该论文的“注释”版本。我重新排序并删除了原始论文中的某些部分，并在整个过程中添加了评论。本文档本身是一个工作笔记本，应该是一个完全可用的实现。总共有 400 行库代码，可以在 4 个 GPU 上每秒处理 27,000 个令牌。要继续学习，您首先需要安装。完整的笔记本也可以在。

由于我们处理的是矩阵，我们可以将第二步到第六步压缩为一个公式来计算自注意力层的输出。矩阵形式的self-attention计算。

文档分类、情感分析、聚类和文档摘要等 NLP 任务需要处理和理解文本数据。这些任务的实施取决于人工智能系统如何处理和理解数据。这样做的一种方法是使用一些统计方法，如词频-逆文档频率（TF-IDF）、计数向量等，将文本表示转换为数值形式，但这些方法不考虑句子的含义并且只处理句子中单词的出现。随着时间的推移，已经开发了几种语义方法，如解析树、上下文语法、本体等，但这些方法需要大量的人力来准备标记的训练数据。在过去的几年里，计算能力的广泛可用性使得使用基于神经网络的方法来完成这些任务成为可能。