AI（008） - 循环神经网络（Recurrent Neural Network）

循环神经网络（Recurrent Neural Network）

AI-第五期-DarkRabbit

这篇文章是对循环神经网络的一个概念性总结，对应：

• 第十一周：（01）循环神经网络
• 第十一周：（04）LSTM
• 维基百科（en）：
  
  • “Recurrent neural network” 词条
  • “Long short-term memory” 词条
  • “Backpropagation through time” 词条

公式在CSDN的app中会显示乱码，请在其它方式阅读

---

目录

---

1 什么是循环神经网络

循环神经网络是一种人工神经网络（Artificial Neural Network），它的神经元间的连接沿序列（sequence）构成有向图，这使得它能表现出动态时间行为，所以有些地方也称为时间递归神经网络。

2 常用结构（Architectures）

2.1 基本结构（Basic）

基本循环神经网络结构（图片来自 Wikipedia）：

从图中可以看出（ $t$ 为时间，除时间外所指均为向量或矩阵，下同）：

• 输入层（input）：在 $t$ 时刻的输入 $x_t$ 。
  • 隐藏层（hidden）：在 $t$ 时刻的值 $h_t$ ，它取决于权重为 $U$ 的 $x_t$ 与 权重为 $V$ 的 $h_{t-1}$ 。
  • 输出层（output）：在 $t$ 时刻的输出 $o_t$ ，它取决于权重为 $W$ 的 $h_t$ 。

  • 用公式表示即是：
    

    $$\begin{array}{rlr} o_t &= \sigma_o(W h_t) & (1) \\[1ex] h_t &= \sigma_h(Ux_t + Vh_{t-1}) & (2) \end{array}$$

    其中 σ(⋅)