LSTM
关注
分享
扫一扫
彩色电暖
这个作者很懒，什么都没留下…
展开
-
带pee-phlone的LSTM源码的阅读笔记
使用pee-phole时3个gate会考虑到Ct-1和Ct,使用三种权重去倍乘,input门和forget门对Ct-1进行倍乘,而输出门对Ct进行倍乘; 常规的LSTM的gate只考虑ht-1和Xt,并且两者拼接(concat)在一起;而peephole中的Ct-1和Ct不是和ht-1,Xt拼接,而是和它们叠加(+)在一起,代码如下 if self._use_peepholes: ...原创 2019-04-20 20:50:16 · 545 阅读 · 0 评论 -
GRU的源码笔记
输出和状态是一样的,前一个状态为state,前一个输出也是state,其宽度都是num_units参数 重置门和更新门分别是r和u 首先输入和前一个输出拼接在一起,然后加权(_gate_kernel)再按列平分,得到重置门r和更新门u,r,u对应的节点数一样的,都是num_units参数 gate_inputs = math_ops.matmul( array_ops.co...原创 2019-04-20 22:09:17 · 1655 阅读 · 0 评论