这篇论文从贝叶斯论的角度分析了RNN网络的优化过程，并以此为基础提出了一种对RNN有效的dropout方法。它用到了近似变分推断的数学方法，这个我啃了好久还是苦于数学能力看得云里雾里。但还是先把笔记记下来吧。
1.介绍与现状
作者提出，RNN因为缺少正则化，很容易陷入过拟合。现在也有许多这方面的努力，特别是之前还有人基于实验结果提出在RNN上运用dropout效果反而会变差这种结论。作者反驳说这些结论都是基于实验得出，而他从数学角度分析，得出了一种变分dropout方法，可以应用到RNN中，并取得了SOTA效果。
现阶段（指16年），人们做出的努力包括：
- 只为解码阶段的模型添加噪音
- 使用传统方法对RNN的各个步骤添加dropout
- 只对RNN的输入输出进行dropout
- 只对中间结果输出( c t c_t ct)添加dropout
2.模型
传统的不带dropout的LSTM的部分计算过程可以表示如下：
( i f o g ) = ( s i g m s i g m s i g m t a n h ) ( ( x t h t − 1 ) ⋅ W ) \begin{pmatrix}i \\ f\\o\\g \end{pmatrix}=\begin{pmatrix}sigm\\sigm\\sigm\\tanh \end{pmatrix}\begin{pmatrix}\begin{pmatrix}x_t\\h_{t-1} \end{pmatrix} & ·W \end{pmatrix} ⎝⎜⎜⎛if
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
