机器学习与深度学习系列连载： 第二部分 深度学习（二十一) Beam Search

Beam Search

由于在NLP中Vocabulary的量非常大，Test过程中选择结果序列是一件非常头疼的事情。 如果每一步都用最大概率去选择不一定得到最好的而结果。

1. Beam Search算法来源

我们还是以NLP产生字母为例：

请看下图：

如果按照最大概率去选，选择红色的箭头路线，其实没有绿色箭头路线总的结果好。

2. Beam Search算法

一般的，我们每次取概率最大的k条路径，top k，而不是取概率最大的一条路径，这样就能涵盖最优结果。
例如我们k=2，如图所示：

从底部的顶点开始： 每一次都选择概率最大的两条，这样就能涵盖到刚才提到的没有办法选择最佳路线的问题。

如果k=3， 这张图能表现出选择的整个过程
图片来自： https://github.com/tensorflow/tensorflow/issues/654#issuecomment-169009989

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229，斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里，感谢这些经典课程，向他们致敬！