RNN网络模型

一.简介

循环神经网络（RNN）是一种经典的神经网络结构，专门用于处理序列数据，例如文本、语音和时间序列数据。

二.基本原理

一维情况

基本公式

 隐藏状态可以理解为:  S=f(现有的输入+过去记忆总结)                                                                     

 t-1, t, t+1表示时间序列. X表示输入的样本. St表示样本在时间t处的的记忆,St = f(W*St-1 +U*Xt). W表示输入的权重, U表示此刻输入的样本的权重, V表示输出的样本权重.                                                                 

二维

注意在多维情况下s在t处的记忆为多个输入以及偏置所影响。