重构器：高效的Transformer

Transformer 模型资源消耗过高问题的解决：Lukash Kaiser 和 Anselm Levskaja 的研究

本文介绍了 Lukash Kaiser 和 Anselm Levskaja 的一项研究，旨在解决 Transformer 模型高资源消耗的问题。

Transformer 模型：

• Transformer 模型是一种神经网络架构，其核心机制是“注意力机制”。
• 它通过在每一层计算注意力来传递信息，从而实现对输入数据的深度理解。
• 最著名的 Transformer 模型是 BERT，它在自然语言处理领域取得了巨大成功。

Transformer 模型资源消耗过高的原因：

• Transformer 模型需要大量的内存，这是因为它在每一层都计算注意力。
• 注意力机制需要计算所有节点之间的相似度，这会导致大量计算和存储需求。

解决方法：

• Lukash Kaiser 和 Anselm Levskaja 的研究旨在减少 Transformer 模型的资源消耗。
• 他们利用“软注意力”机制，通过仅关注与当前节点最匹配的节点来减少计算量。
• 具体来说，他们在模型中引入了“查询”（query）和“键”（key）的概念。
• 每个节点都拥有一个查询向量，它会与上一层的所有键向量进行比较。
• 与当前节点查询向量最匹配的键向量会提供最多的信息，而其他键向量的信息则会被忽略或弱化。

简而言之，该研究通过优化注意力机制的计算方式，减少了 Transformer 模型的资源消耗，使其能够更加高效地运行。

需要注意的是，本文仅提供了研究的简要概述，更多细节请参考 Lukash Kaiser 和 Anselm Levskaja 的原论文。

面向大众的Transformer！Reformer解决了著名Transformer模型的最大问题：其巨大的资源需求。通过巧妙地结合局部敏感哈希和可逆网络的思想，Transformer的经典巨大占用空间被大幅减少。这不仅意味着模型使用更少的内存，而且可以处理更长的输入序列，仅用16GB内存即可处理高达16K个token！https://arxiv.org/abs/2001.04451https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html摘要：大型Transformer模型在许多任务中经常取得最先进的结果，但训练这些模型可能非常昂贵，尤其是在长序列上。我们介绍了两种技术来提高Transformer的效率。首先，我们用使用局部敏感哈希的注意力机制替换点积注意力机制，将其复杂度从O(L2)更改为O(LlogL)，其中L是序列的长度。此外，我们使用可逆残差层代替标准残差层，这允许在训练过程中仅存储一次激活，而不是N次，其中N是层的数量。由此产生的模型，Reformer，在性能上与Transformer模型相当，同时在内存效率和长序列速度方面要高得多。