qq_44166038的博客

原创 博客摘录「 经典网络架构学习-Transformer」2023年10月26日

这是一种方法（称为贪婪解码）。另一种方法是保留，比如说，前两个词（比如说，‘I’和’a’），然后在下一步，运行模型两次：一次假设第一个输出位置是’I’，另一次假设第一个输出位置是’a’，考虑到1号和2号位置，哪个版本产生的误差小就保留哪个。这个方法被称为 “beam search”，在我们的例子中，beam_size是两个（意味着在任何时候，两个部分假设（未完成的翻译）都保留在内存中），top_beams也是两个（意味着我们会返回两个翻译）。这两个都是超参数，你可以进行实验。