![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
RNN
文章平均质量分 90
黄发良的博客
这个作者很懒,什么都没留下…
展开
-
继续dropout
Selective Dropout文献:Barrow E, Eastwood M, Jayne C. Selective Dropout for Deep Neural Networks[M]// Neural Information Processing. Springer International Publishing, 2016. 方法:根据dropout率来决定每层需要dropout的单原创 2017-06-16 15:12:19 · 327 阅读 · 0 评论 -
RNN变体之dropout
问题RNN在迭代运用状态转换操作“输入到隐状态”实现任意长序列的定长表示时,会遭遇到“对隐状态扰动过于敏感”的困境。dropoutdropout的数学形式化: y=f(W⋅d(x))y=f(W \cdot d(x)), 其中d(x)={mask∗x, if train phaseing(1−p)x,otherwised(x) = \left\{ {\begin{array}{*{20}{c}} {m原创 2017-06-08 09:29:36 · 5305 阅读 · 0 评论 -
LSTM及其变体(一)
经典LSTM(1997) 1. 三个门的信息流入 ft=σ(Wf⋅[ht−1,xt]+bf){f_t} = \sigma \left( {{W_f} \cdot [{h_{t - 1}},{x_t}] + {b_f}} \right) (1) it=σ(Wi⋅[ht−1,xt]+bi){i_t} = \sigma \left( {{W_i} \cdot [{h_{t - 1}},{x原创 2017-07-05 09:09:25 · 1735 阅读 · 0 评论