2022年京东NLP实习面试题7道

问题1：Beam Search生成的句子基本都一样，是否有方法扩展生成句子的多样性。

解决方法：通过分组加入相似性惩罚，具体可以参考论文 Diverse beam search：
https://arxiv.org/pdf/1610.02424.pdf。

具体方法：选择Beam size为B，然后将其分为G组，每一组就有 B/G 个beam，每个单独的组内跟 beam search很像，不断延展序列，同时引入一个 dissimilarity项来保证组与组之间有差异。

组内与 beam search 很像：从t-1到 t 时刻，不断的减少搜索空间（如同beam search一样）。

组间差异：对于t=4时刻，我们先对第一组输出y（t=4），然后我们开始对第二组输出y（t=4），但是第二组y（t=4）的score不仅取决于第二组之前的y（t=3），也取决于其与第一组的相似程度。以此类推，在t=4时刻对于第三组的输出，我们从上图可以看到其score的打分标准。这儿对于其 dissimilarity 项的计算采用的办法是 hamming diversity，这个理解起来很简单，比如这个时刻可能输出的词在上面的组出现过，我们就对这个词的分数-1，如果这个时刻可能输出的词在上面组没有出现过，我们就对这个词的分数不惩罚。