循环神经网络(Recurrent Neural Network)
循环神经网络有别于普通的全连接神经网络,其特殊的神经元输入设置使得循环神经网络对于自带序列性质的数据有着更好的效果。在最简单的RNN神经元中,每个神经元会同时接受时刻的输入和上一时刻的输出从而达到捕捉序列中信息的效果。用数学公式可表达为:
对于上图的循环神经网络,梯度反向传播的过程可表达为:
循环神经网络有别于普通的全连接神经网络,其特殊的神经元输入设置使得循环神经网络对于自带序列性质的数据有着更好的效果。在最简单的RNN神经元中,每个神经元会同时接受时刻的输入和上一时刻的输出从而达到捕捉序列中信息的效果。用数学公式可表达为:
对于上图的循环神经网络,梯度反向传播的过程可表达为: