4.12.束搜索

束搜索

​ 为了量化解码器的计算代价，用$y$表示输出词表，其中包含$<eos>$，词表大小则为$|y|$，指定输出序列的最大词元数为$T^{\prime }$，则我们的目标是从所有$O(|y{|}^{T^{\prime }})$个可能得输出序列中寻找理想的输出。当然，对于所有输出序列，在$<eos>$之后的部分将在实际输出中丢弃

1. 贪心搜索

​ 即输出最高条件概率的词元。

​ 在每一个时间步，贪心搜索选择具有最高条件概率的词元，那么显然，如上图所示，输出序列"A B C <eos>"的条件概率最大。

​ 但贪心搜索显然存在问题，局部最优的和不一定是全局最优，实际上，最优序列应该是最大化${\Pi }_{t^{\prime }=1}^{T^{\prime }}P(y_{t^{\prime }}|y_1,\cdots ,y_{t^{\prime }-1},c)$值的输出序列，这是基于输入序列生成输出序列的条件概率。

​ 例如，我们在第二时间步选择C，可能会发生一以下变化：

​ 第三时间步的条件概率发生了变化，而0.5 * 0.3 *0.6 *0.6更大了。这不一定是最优序列，但的确比贪心搜索的局部最优好。

2.穷举搜索

​ 字面意思，搜索所有的序列，这是不可能的，计算量太大了

3.束搜索

​ 束搜索(beam search)是贪心搜索的一个改进版本，有一个超参数，名为束宽$k$，在时间步1，我们选择具有最高条件概率的k个词元，并且每次都基于上一时间的k个候选输出序列，继续从$k|y|$个可能中选择最高概率的k个候选输出序列。(类似k叉树)

​ k=2，输出序列的最大长度为3

时间复杂度$O(knT)$