循环神经网络(Recurrent Neural Network)
AI-第五期-DarkRabbit
这篇文章是对循环神经网络的一个概念性总结,对应:
- 第十一周:(01)循环神经网络
- 第十一周:(04)LSTM
- 维基百科(en):
- “Recurrent neural network” 词条
- “Long short-term memory” 词条
- “Backpropagation through time” 词条
公式在CSDN的app中会显示乱码,请在其它方式阅读
目录
1 什么是循环神经网络
循环神经网络是一种人工神经网络(Artificial Neural Network),它的神经元间的连接沿序列(sequence)构成有向图,这使得它能表现出动态时间行为,所以有些地方也称为时间递归神经网络。
2 常用结构(Architectures)
2.1 基本结构(Basic)
基本循环神经网络结构(图片来自 Wikipedia):
从图中可以看出( t t 为时间,除时间外所指均为向量或矩阵,下同):
- 输入层(input):在
时刻的输入 xt x t 。
- 隐藏层(hidden):在 t t 时刻的值 ,它取决于权重为 U U 的 与 权重为 V V 的 。
- 输出层(output):在 t t 时刻的输出 ,它取决于权重为 W W 的 。
用公式表示即是:
otht=σo(Wht)=σh(Uxt+Vht−1)(1)(2) o t = σ o ( W h t ) ( 1 ) h t = σ h ( U x t + V h t − 1 ) ( 2 )其中 σ(⋅)