Transformers Can Do Arithmetic with the Right Embeddings

本文是LLM系列文章，针对《Transformers Can Do Arithmetic with the Right Embeddings》的翻译。

摘要

transformer在算术任务中的糟糕性能似乎在很大程度上源于它们无法跟踪大跨度数字中每个数字的确切位置。我们通过在每个数字上添加一个嵌入来修复这个问题，该嵌入对其相对于数字开头的位置进行编码。除了这些嵌入本身提供的增强功能外，我们还表明，此修复还可以进行架构修改，如输入注入和递归层，从而进一步提高性能。
通过求解位置，我们可以研究Transformer的逻辑外推能力。他们能解决比训练数据中更大、更复杂的算术问题吗？我们发现，用一个GPU只在20位数字上训练一天，我们就可以达到最先进的性能，在100位加法问题上实现高达99%的准确率。最后，我们展示了算术方面的这些进步也带来了对其他多步骤推理任务的改进，包括排序和乘法。

1 引言

2 相关工作

3 实现加法的长度泛化

4 突破Transformer算法推理的极限

5 讨论和局限性

尽管LLM的能力已经发展到足以涵盖包括代码生成和数学推理在内的复杂任务，