5.1 常见的tips

1. Beam Search

集束搜索，作用是寻找可能性最大的生成序列，相对于穷举来说，计算量大大缩小（穷举是指数级，BS是常数级）。产生的结果可能不是最优，但一般来说足够好了。
参数是集束的宽度B，B越大，考虑的可能性越多，计算量就越大。BS每次会选择可能性最大的B个结果做为候选，B=1时，是贪婪搜索，即每次选择可能性最大的一个向量，贪婪搜索的结果不好。
具体看吴恩达的视频。

2.Bleu score

作为一种评价指标，对机器翻译结果进行打分，类比accuracy。
它的宗旨是机器翻译越接近参考的人工翻译，得分越高，原理是看机器翻译的各个单词是否出现在参考翻译中。
如果是n个连续的单词，对应的n-grams precision为P = n个连续单词在参考结果中出现的次数 / n个连续单词在机器翻译结果的统计次数。
具体做法参考吴恩达视频，非常清晰。