python自然语言处理—Beam Search及其优化方法—two

                                                Beam Search及其优化方法（two）

 

上一篇文章我们介绍了基础版的 Beam Search 及其优化方法，这篇文章接着对上一篇文章进行扩展，可以在模型不改的情况下获得更好的生成结果。文章主要围绕论文《The Curious Case of Neural Text Degeneration》展开。

 

Beam Search 存在的问题

    Beam Search 虽然比 Greedy Search（贪心搜索）有所改进，但还是会生成出 空洞、重复、前后矛盾 的文本。在语言模型上还不像如今的 BERT、GPT 那么厉害的时候，这种现象更加明显。

    看一个例子：

        输入模型的引文（context）：

            "The study, published in the Proceedings of the They were cattle called Bolivian Cavalleros; they live in a National Academy of                  Sciences of the United States of