RNN学习笔记(三)-LSTM网络

最新推荐文章于 2022-12-09 16:23:09 发布

rtygbwwwerr

最新推荐文章于 2022-12-09 16:23:09 发布

阅读量3k

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/rtygbwwwerr/article/details/50422296

版权

本文深入探讨了RNN的梯度问题，并介绍了LSTM网络如何通过常数误差车轮(CEC)和门控机制来解决这一问题。文章详细阐述了LSTM的网络结构，包括输入门、输出门和内部状态的更新，并提供了梯度传递的公式推导。

摘要由CSDN通过智能技术生成

RNN学习笔记(三)-LSTM网络

为了解决RNN的梯度问题，提出了一种优化的RNN网络——LSTM（Long short-term memory）：

1.RNN的梯度问题及CEC
2.LSTM的网络结构
3.梯度传递公式推导
4.参考文献

1.RNN的梯度问题及CEC

在《RNN学习笔记(二)》中，我们对RNN网络的误差传导进行了分析，结果表明，误差的变化与时延长度q存在指数变化的关系，因此极不稳定，这个问题怎么解决呢？一种可能的办法是，使用常数误差。
假设只有一个单元j，j有一个自连接，如下图：
这里写图片描述

$\delta_j(t)=f'_j(s_j(t))\delta_j(t+1)wjj$
把 $\delta_j(t)$ 看做变量，对两边求微分得：
$\partial \delta_j(t)=(f'_j(s_j(t))wjj)\partial \delta_j(t+1)$
做一下变形：
$\frac {\partial \delta_j(t)}{\partial \delta_j(t+1)}=(f'_j(s_j(t))wjj)$
由微分方程的性质，可知，只要令 $f'_j(s_j(t))w_{jj}=1$ ，即可保证变量随时间稳定。
所以有：
$\frac{\partial f_j(s_j(t))}{\partial s_j(t)}w_{jj}=1$
变形得：
$\mathrm{d} f_j(s_j(t))=\frac{\mathrm{d} s_j(t)}{w_{jj}}$
对两边求积分得：
∫d