序列模型和注意力机制（Sequence models & Attention mechanism）

基础模型（Basic Models）

选择最可能的句子（Picking the most likely sentence）

贪婪算法、集束算法都是近似搜索算法，不总是输出可能性最大的句子，它仅记录着B为第1、前3或者10或是100种可能。

贪婪算法

decoder时每次选择最可能的那个单词

集束搜索（Beam Search）

改进集束搜索（Refinements to Beam Search）

乘积概率（the product probabilities）都是小于1的，通常远小于1。很多小于1的数乘起来，会得到很小很小的数字，会造成数值下溢（numerical underflow），导致电脑的浮点表示不能精确地储存。在实践中,我们取$log$值。