本文介绍了深度学习序列模型中束搜索算法的改进，特别是长度归一化技术，用于避免数值下溢并提高翻译质量。通过对概率取对数和归一化，算法能更好地平衡句子长度，避免过度偏好较短的翻译结果。束搜索的束宽选择也是关键，较大的束宽可能导致更好的结果但计算成本增加。
1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai
3.4 改进定向搜索 Fefinements to beam search
上节课中, 你已经学到了基本的束搜索算法(the basic beam search algorithm)，这节课里,我们会学到一些技巧, 能够使算法运行的更好。
长度归一化（Length normalization）就是对束搜索算法稍作调整的一种方式，帮助你得到更好的结果，下面介绍一下它。
上节课讲到束搜索就是最大化上图这个概率。
这个乘积就是 P ( y < 1 > . . . y < T y > ∣ x ) P(y^{<1>}...y^{<T_y>}|x) P(y<1>...y<Ty>∣x)，可以表示成：
P ( y < 1 > . . . y < T y > ∣ x ) = P ( y < 1 > ∣ x ) P ( y < 2 > ∣ x , y < 1 > ) P ( y < 3 > ∣ x , y < 1 > , y < 2 > ) . . . P ( y < T y > ∣ x , y < 1 > , y < 2 > . . . y < T y − 1 > ) P(y^{<1>}...y^{<T_y>}|x)=P(y^{<1>}|x)P(y^{<2>}|x,y^{<1>}) P(y^{<3>}|x,y^{<1>},y^{<2>})...P(y^{<T_y>}|x,y^{<1>},y^{<2>}...y^{<T_y-1>}) P(y<1>...
最低0.47元/天 解锁文章
扫一扫
220
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
