利用 Universal Transformer，翻译将无往不利！

文 / Google Brain Team 的研究科学家 Stephan Gouws、阿姆斯特丹大学的 Mostafa Dehghani 博士生、谷歌研究实习生

去年，我们发布了 Transformer，这是一种新的机器学习模型，相较现有的机器翻译算法和其他语言理解任务，成效卓著。 在 Transformer 之前，大多数基于神经网络的机器翻译方法依赖于循环运算的递归神经网络（RNN），它们使用循环（即每一步的输出都进入下一步）按递归顺序运行（例如，逐字翻译句中的单词）。 虽然 RNN 在建模序列方面非常强大，但它们的顺序性本质意味着它们训练起来非常缓慢，因为长句需要更多的处理步骤，并且其繁复循环的结构也使训练难上加难。

相较于基于 RNN 的方法，Transformer 不需要循环，而是并行处理序列中的所有单词或符号，同时利用自醒机制将上下文与较远的单词结合起来。 通过并行处理所有单词，并让每个单词在多个处理步骤中处理句子中的其他单词，使 Transformer 的训练速度比起复制模型要快得多。 值得注意的是，与此同时其翻译结果也比 RNN 好得多。 然而，在更小、更结构化的语言理解任务中，或是简单的算法任务诸如复制字符串（例如，将 “abc” 的输入转换为 “abcabc”）上，Transformer 则表现欠佳。 相比之下，在这方面表现良好的模型，如神经 GPU 和神经图灵机，在大规模语言理解任务（如翻译）中溃不成军。

在《Universal Transformer》一文中，我们使用新颖高效的时间并行循环方式将标准 Transformer 扩展为计算通用（图灵完备）模型，从而可在更广泛的任务中产生更强的结果。我们将模型建立在 Transformer 的并行结构上，以保持其快速的训练速度。但是我们用单一的时间并行循环的变换函的多次应用代替了 Transformer 中不同变换函数的固定堆叠（即，相同的学习转换函数在多个处理步骤中被并行应用于所有符号，其中每个步骤的输出馈入到下一个步骤中）。关键在于，RNN 逐个符号（从左到右）处理序列，而 Universal Transformer 同时处理所有符号（像 Transformer 一样），随后使用自醒机制在可变数量的情况下并行地对每个符号的解释进行细化。 这种时间并行循环机制比 RNN 中使用的顺序循环更快，也使得 Universal Transformer 比标准前馈 Transformer 更强大。