RNN循环神经网络训练过程的matlab模拟仿真

目录

1.算法概述

2.仿真效果

3.MATLAB仿真源码

---

1.算法概述

        CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果. 但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了.因此, RNN就应运而生了

       RNN是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与DNN,CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能

        RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出

        循环神经网络英文名称为 (Recurrent Neural Network, RNN)，其通过使用带自反馈的神经元，能够处理任意长度的时序数据。

       给定输入时序序列:

以一段英文段落为例，其时序数据可以表示为： 

循环神经网络通过以下公式更新隐藏层的活性值ht

       RNN主要有两种计算梯度的方式：随时间反向传播（BPTT）和实时循环学习法࿰