神经网络基础知识

来源：深度之眼

---

---

学习资源推荐

1. 吴恩达的深度学习课程: https://www.deeplearning.ai
2. 李宏毅的深度学习课程: https://www.bilibili.com 搜索李宏毅
3. 《deep learning》俗称花书: https://github.com/exacity/deeplearningbook-chinese
4. 周志华的《机器学习》俗称西瓜书

Overview

一、神经网络与多层感知机

1. 基础知识

人工神经元（Artificial Neural Unit）：人工神经元中抽象出来的数学模型。

• 1904年研究出人类神经元；
  
  其中，树突可以看作Input，细胞核可以看作Operator，突触可以看作Output。

• 1943年心理学家W. S. McCulloch和数理逻辑学家W. Pitts研究 出人工神经元，称为M-P模型；
  $$f(\sum _{i=1}^n{I}_i{W}_i)=y$$
  激活函数有两个结果，0或1，代表了未激活或激活。

人工神经网络：大量神经元以某种连接方式构成的机器学习模型。

第一个神经网络：1958年，计算机学家Rosenblatt提出Perceptron（感知机）

$$o=\sigma (<w,x>+b)$$
σ ( x ) = σ ( x ) = { 1  if  x > 0 0  otherwise  . \sigma(x) = \sigma(x)=\{\begin{array}{cc} 1 & \text { if } x>0 \\ 0 & \text { otherwise } \end{array}. σ(x)=σ(x)={10​ if x>0 otherwise ​.

这也是第一波神经网络的热潮，但感知机的致命缺点在于：Minsky在1969年证明Perceptron无法解决异或问题。
根源在于，二维神经网络是一条直线。

$$\begin{array}{rcc}0& =& \sigma (x_0{w}_0+x_1{w}_1+b)\\ 0& =& x_0{w}_0+x_1{w}_1+b\\ x_1{w}_1& =& 0-x_0{w}_0-b\\ x_1& =& -\frac{w_0}{w_1}{x}_0-\frac{b}{w_1}\\ y& =& kx+b\end{array}$$

2. 多层感知机（Multi Layer Perceptron, MLP）

单层神经网络基础上引入一个或多个隐藏层，使神经网络有多个网络层，因而得名。

$$W_{4\times 5}{W}_{5\times 3}$$

$$W_{4\times 5}{W}_{5\times 3}{W}_{3\times 2}{W}_{2\times 2}$$

多次感知机的前向传播

KaTeX parse error: Unknown column alignment: \sigma at position 16: \begin{array} \̲s̲i̲g̲m̲a̲(X_{1 \times 4}…

无激活函数，网络退化为单层网络：
$$\begin{array}{rl}\mathbf{H}& =\mathbf{X}{\mathbf{W}}_h+{\mathbf{b}}_h\\ \mathbf{O}& =\mathbf{H}{\mathbf{W}}_o+{\mathbf{b}}_o\\ \mathbf{O}& =\left(\mathbf{X}{\mathbf{W}}_h+{\mathbf{b}}_h\right){\mathbf{W}}_o+{\mathbf{b}}_o=\mathbf{X}{\mathbf{W}}_h{\mathbf{W}}_o+{\mathbf{b}}_h{\mathbf{W}}_o+{\mathbf{b}}_c\end{array}$$

隐藏层加入激活函数，可避免网络退化：
$$\begin{array}{l}\mathbf{h}=\sigma \left({\mathbf{W}}_1\mathbf{x}+{\mathbf{b}}_1\right)\\ 0={\mathbf{w}}_2^T\mathbf{h}+b_2\end{array}$$

3. 激活函数

作用：

1. 让多层感知机成为真正的多层，否则等价于一层；
2. 引入非线性，使网络可以逼近任意非线性函数（万能逼近定理，universal approximator）

激活函数需要具备以下几点性质:

1. 连续并可导（允许少数点上不可导），便于利用数值优化的方法来学习网络参数
2. 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率
3. 激活函数的导函数的值域要在合适区间内，不能太大也不能太小，否则会影响训练的效率和稳定性

常见激活函数：Sigmoid（S型） ， Tanh（双曲正切）， ReLU（修正线性单元）

做二分类的输出的激活函数；做循环神经网络中门控单元的激活函数。
导函数的饱和区（神经元的值差不多，梯度差不多）

同样有左右两个饱和区，不利于梯度传播。

不存在饱和区，常常使用。

4. 反向传播（Back Propagation）

前向传播：输入层数据从前向后，数据逐步传递至输出层
反向传播：损失函数开始从后向前，梯度逐步传递至一层

反向传播作用：用于权重更新，使网络输出更接近标签
损失函数：衡量模型输出与真实标签的差异，KaTeX parse error: Expected group after '^' at position 14: Loss = f(y^{^̲},y)

反向传播原理：微积分中的链式求导法则 $$y=f(u),u=g(x)\frac{\partial y}{\partial x}=\frac{\partial y}{\partial u}\frac{\partial u}{\partial x}$$

网络计算图

前向传播的计算：
$$\begin{array}{l}z=x\cdot W^{(1)}\\ h=\varphi (z)\\ O=h\cdot W^{(2)}\end{array}$$

反向传播计算：
计算符定义：$$prod(x,y)$$，表示x与y根据形状做必要的交换，然后相乘

$$\begin{array}{l}\frac{\partial L}{\partial w^{(1)}}=\mathrm{prod}\left(\frac{\partial L}{\partial O},\frac{\partial O}{\partial W^{[2})}\right)=\frac{\partial L}{\partial O}\cdot h^{\top }\\ \frac{\partial L}{\partial h}=\mathrm{prod}\left(\frac{\partial L}{\partial O},\frac{\partial O}{\partial h}\right)=W^{(2)T}\cdot \frac{\partial L}{\partial O}\\ \frac{\partial L}{\partial z}=\mathrm{prod}\left(\frac{\partial L}{\partial O},\frac{\partial O}{\partial h},\frac{\partial h}{\partial Z}\right)=\frac{\partial L}{\partial h}\odot {\varphi }^{\prime }(Z)\\ \frac{\partial L}{\partial W^{(1})}=\mathrm{prod}\left(\frac{\partial L}{\partial O},\frac{\partial O}{\partial h},\frac{\partial h}{\partial Z},\frac{\partial Z}{\partial W^{(1)}}\right)=\frac{\partial L}{\partial Z}\cdot {\chi }^{\top }\end{array}$$

后一项的梯度可以用于前一项的梯度上。从Loss出发有多少条通路，梯度就有多少项，进行相加。上图所示，只有一条通路。

梯度下降法（Gradient Decent）：权值沿梯度负方向更新，使函数值减小
导数：函数在指定坐标轴上的变化率 $$\frac{\partial y}{\partial x}$$
方向导数：指定方向上的变化率（在多维空间）
梯度：一个向量，方向为方向导数取得最大值的方向

学习率（Learning Rate）：控制更新步长
沿梯度负方向更新：$${\mathbf{w}}_{i+1}={\mathbf{w}}_i$$
$$\begin{array}{l}\mathbf{g}\left({\mathbf{w}}_i\right)\\ y=f(x)=4\ast x^2\\ y^{\prime }=f^{\prime }(x)=8\ast x\\ x_0=2,y_0=16,f^{\prime }\left(x_0\right)=16\\ x_1=x_0-f^{\prime }\left(x_0\right)=2-16=-14\\ x_1=-14,y_1=784,f^{\prime }\left(x_1\right)=-112\\ x_2=x_1-f^{\prime }\left(x_1\right)=-14+112=98,y_2=38416\\ \begin{array}{l}0\end{array}\end{array}$$
无学习率：$${\mathbf{w}}_{\mathbf{i}+1}={\mathbf{w}}_{\mathbf{i}}-\mathbf{g}\left({\mathbf{w}}_{\mathbf{i}}\right)$$

$$\text{ 有学习率： }{\mathbf{w}}_{\mathbf{i}+1}={\mathbf{w}}_{\mathbf{i}}-{\mathrm{L}\mathrm{R}}^{\circ }\mathbf{g}\left({\mathbf{w}}_{\mathbf{i}}\right)$$
学习率通常小于1。

5. 损失函数（Loss Function）

损失函数：衡量模型输出与真实的标签之间的差距

损失函数(Loss Function)：描述的单样本的差异值
$$\text{ Loss }=f\left(\hat{y},y\right)$$
代价函数 (Cost Function)：描述的是总体样样本\整个数据集的Loss的平均值
$$\mathrm{Cost}=\frac{1}{N}\sum _i^{N}f\left(\widehat{y_i},y_i\right)$$
目标函数(Objective Function)：模型输出与标签之间的差异+正则项控制模型复杂度防止过拟合现象
Obj= Cost + Regularization Term

两种常见损失函数

1. MSE (均方误差, Mean Squared Error)：输出与标签之差的平方的均值，常在回归任务中使用。计算公式：$$MSE=\frac{{\sum }_{i=1}^n{\left(y_i-y_i^p\right)}^2}{n}$$

$$\begin{array}{l}\text{ 例: label }=(1,2)\text{ pred }=(1.5,1.5)\\ \text{ MSE }=\frac{\left[(1-1.5{)}^2+(2-1.5{)}^2\right]}{2}=0.25\end{array}$$

2.CE（Cross Entropy，交叉嫡) ：交叉嫡源自信息论，用于衡量两个分布的差异，常在分类任务中使用。计算公式:
$$H(p,q)=-\sum _{i=1}^{n}p\left(x_i\right)\log q\left(x_i\right)$$
p是指真是分布，q是模型的分布，试图用q去逼近p。分布之间的距离是没有对应关系的。

信息熵：描述信息的不确定度，信息熵越大信息越不确定，信息熵越小
自信息： $\mathrm{I}(\mathrm{x})=-\log \mathrm{P}(\mathrm{x}),\mathrm{p}(\mathrm{x})$ 是某事件发生的概率
信息熵 = 所有可能取值的信息量的期望，即
$H(\mathrm{x})=E_{x-p}[I(x)]=-E[\log P(x)]=-{\sum }_{i=1}^N{p}_i\log \left(p_i\right)$

相对熵：又称K-L散度，衡量两个分布之间的差异。公式如下：
$$\begin{array}{rl}{D}_{KL}(P\Vert Q)=E_{x\sim p}\left[\log \frac{P(x)}{Q(x)}\right]& =E_{x-p}[\log P(x)-\log Q(x)]\\ & =\sum _{i=1}^N\mathrm{P}\left({\mathrm{x}}_i\right)\left(\log P\left({\mathrm{x}}_i\right)-\log \mathrm{Q}\left({\mathrm{x}}_i\right)\right)\end{array}$$
交叉熵：
$$H(p,q)=-\sum _{i=1}^{n}p\left(x_i\right)\log q\left(x_i\right)$$
信息熵：
$$H(\mathrm{x})=E_{x-p}[I(x)]=-E[\log P(x)]=-\sum _{i=1}^N{p}_i\log \left(p_i\right)$$
$$H(p,q)=H(P)+D_{-}KL(P\Vert Q)$$
即 交叉熵 = 信息熵 + 相对熵

结论：优化交叉熵等价于优化相对熵。

举例：

$$H(p,q)=-\sum _{i=1}^{n}p\left(x_i\right)\log q\left(x_i\right)$$
$$\mathrm{los}s=-\left(0^{\star }\log (0.05)+0^{\star }\log (0.1)+1^{\star }\log (0.7)+0^{\star }\log (0.15)\right)=0.36$$

概率有两个性质：

1. 概率值是非负的
2. 概率之和等于1

交叉熵的好伙伴——Softmax函数：将数据变换到符合概率分布的形式

Softmax函数：将数据变换到符合概率分布的形式
$$y_i=S(\mathbf{z}{)}_i=\frac{e^{z_i}}{{\sum }_{j=1}^C{e}^{z_j}},i=1,\dots ,C$$
概率两性质： \quad Softmax操作：

1. 概率值是非负的 \quad 1. 取指数，实现非负
2. 概率之和等于1 \quad 2. 除以指数之和，实现之和为1 1
   
   没有一个适合所有任务的损失函数，损失函数设计会涉及算法类型、求导是否容易、数据中异常值的分布等问题。

更多损失函数可到PyTorch网站：https://pytorch.org/docs/stable/nn.html#loss-functions
函数解读： https://zhuanlan.zhihu.com/p/61379965

6. 权值初始化（Initialization）

权值初始化：训练前对权值参数赋值，良好的权值初始化有利于模型训练
简便但错误的方法：初始化为全0——使网络层退化，多少个神经元都等于一个神经元，没有训练的意义

随机初始化法：高斯分布随机初始化，从高斯分布中随机采样，对权重进行赋值，比如 N～（0，0.01）
3σ准则：数值分布在（μ-3σ,μ+3σ)中的概率为99.73%

自适应标准差：自适应方法随机分布中的标准差
• Xavier初始化：《Understanding the difficulty of training deep feedforward neural networks 》2010
$$U\left(-\sqrt{\frac{6}{a+b}},\sqrt{\frac{6}{a+b}}\right)$$
a是输入神经元的个数，b是输出神经元的个数
KaTeX parse error: Expected 'EOF', got '\right' at position 57: …{\frac{6}{a+b}}\̲r̲i̲g̲h̲t̲)
$$\frac{A+B}{2}=\text{ mean }=0$$
$$\mathrm{std}=\sqrt{\frac{(\mathrm{B}-\mathrm{A}{)}^2}{12}}$$
• Kaiming初始化/MSRA：《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》2015

7. 正则化方法（Regularization）

Regularization：减小方差的策略，通俗理解为减轻过拟合的策略
误差可分解为：偏差，方差与噪声之和。即误差 = 偏差 + 方差 + 噪声之和
偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界

过拟合现象：方差过大；在训练集表现良好，在测试集表现糟糕；“线下操作猛如虎，线上提交二百五”

损失函数(Loss Function)：描述的单样本的差异值
$$\text{ Loss }=f\left(\hat{y},y\right)$$
代价函数 (Cost Function)：描述的是总体样样本\整个数据集的Loss的平均值
$$\mathrm{Cost}=\frac{1}{N}\sum _i^{N}f\left(\widehat{y_i},y_i\right)$$
目标函数(Objective Function)：模型输出与标签之间的差异+正则项（约束）控制模型复杂度防止过拟合现象
Obj= Cost + Regularization Term

L1 Regularization Term: ${\sum }_i^N\left|w_i\right|$
L2 Regularization Term: ${\sum }_i^N{w}_i^2$

理论证明：参考深度学习 第七章

L2 Regularization: weight decay (权值衰减)
目标函数(Objective Function):
$$\begin{array}{l}\mathbf{O}\mathbf{b}\mathbf{j}=textCost+\text{ Regularization Term }\\ \mathbf{O}\mathbf{b}\mathbf{j}=\mathbf{L}\mathbf{o}\mathbf{s}\mathbf{s}+\frac{\lambda }{2}\ast {\sum }_i^N{\mathbf{w}}_i^2\end{array}$$
无正则项： $w_{i+1}=w_i-\frac{\partial obj}{\partial w_i}=w_i-\frac{\partial Loss}{\partial w_i}$
有正则项: $w_{i+1}=w_i-\frac{\partial obj}{\partial w_i}=w_i-\left(\frac{\partial Loss}{\partial w_i}+{\lambda }^{\ast }{w}_i\right)$
$$=w_i(1-\lambda )-\frac{\partial Loss}{\partial w_i}$$
$$0<\lambda <1$$实现了权值的衰减

Dropout：随机失活
优点：避免过度依赖某个神经元，实现减轻过拟合
随机：dropout probability （eg：p=0.5）
失活：weight = 0
注意事项：训练和测试两个阶段的数据尺度变化
测试时，神经元输出值需要乘以P（概率：一定概率丢失神经元）
KaTeX parse error: No such environment: arrray at position 8: \begin{̲a̲r̲r̲r̲a̲y̲}̲ \sum_{i = 1}^{…
《Dropout: A simple way to prevent neural networks from overfitting》

其他正则化方法：BN, LN, IN, GN.
• Batch normalization： 《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
• Layer Normalization： 《Layer Normalization》
• Instance Normalization： 《Instance Normalization: The Missing Ingredient for Fast Stylization》
• Group Normalization：《Group Normalization》

二、卷积神经网络

1.卷积神经网络发展史

卷积神经网络（convolutional neural networks, CNN )
CNN 是针对图像领域任务提出的神经网络，经历数代人的发展，在2012年之后大部分图像任务被CNN统治，例如图像分类，图像分割，目标检测，图像检索等。

CNN结构受视觉系统启发：1962 年，生物学家Torsten WieseI 和 David H. Hubel（1981年的诺贝尔医学奖）对猫的视觉系统进行研究，首次发现猫的视觉系统中存在层级机构，并且发现了两种重要的细胞 simple cells 和 compIex cel।s，不同类型细胞承担不同抽象层次的视觉感知功能。

猫的视觉系统实验

1. 在猫脑上打开 3mm, 插入电极
2. 让猫看各种形状、位置、亮度和运动的光条
3. 观察大脑视觉神经元激活情况

1. 神经元存在局部感受区域 ( receptive field)，也称感受野
   细胞感受区域存在差异：如C细胞和D细胞相反
   

2. 细胞对角度有选择性。如图所示的该细胞对垂直光条响应最强。
   

3. 细胞对运动方向有选择性
   
   对CNN启发：

4. 视觉系统是分层、分级的进行处理，从低级到高级的抽象过程 $$\to$$ 堆叠使用卷积和池化

5. 神经元实际上是存在局部的感受区域的，具体来说，它们是局部敏感 $$\to$$ 神经元局部连接

第一个卷积神经网络雏形——新认知机（Neocognitron）
1980 年，日本学者福岛邦彦厂(Kunihiko Fukushima) 借鉴猫视觉系统实验结论，提出具有层级结构的神经网络一一新认知机，堆叠使用类似于S细胞和C细胞的两个结构。
S细胞和 C 细胞可类比现代CNN的卷积和池化
缺点： 没有反向传播算法更新权值，模型性能有限。

福岛邦彦主页 ：http://personalpage.flsi.or.jp/fukushima/index-e.h

第一个大规模商用卷积神经网络——Lenet-5
1989 年，Lecun 等人已开始研究Lenet；1998 年，Lecun等人提出Lenet-5，并成功在美国邮政系统中大规模应用于手写邮政编码识别
缺点：无大量数据和高性能计算资源

第一个技惊四座的卷积神经网络——AlexNet
2012年，AlexNet以超出第二名10.9个百分点的成绩夺得ILSVRC分类任务冠军，从此拉开卷积神经网络通知图像领域序幕。
成功要素：

• 算料：ImageNet
• 算力：GPU
• 算法：AlexNet

2.卷积操作

卷积层（Convolutional Layer）

图像识别特点：

• 特征具有局部性：老虎重要特征“王字”仅出现在头部区域 —— 卷积核每次仅连接KK区域，KK是卷积核尺寸；
  

• 特征可能出现在任何位置——卷积核参数重复使用（参数共享），在图像上滑动；
  

• 下采样图像，不会改变图像目标

卷积核：具可学习参数的算子，用于对输入图像进行特征提取，输出通常称为特征图（feature maps）。

2012年AlexNet网络第一个卷积层卷积核可视化
卷积核呈现边缘、频率和色彩上的特征模式

填充 (Padding)：在输入图像的周围添加额外的行/列
作用:

• 使卷积后图像分辨率不变，方便计算特征图尺寸的变化
• 弥补边界信息“丢失"
  
  步幅（Stride） ：卷积核滑动的⾏数和列数称为步幅，控制输出特征图的大小，会被缩小1/s倍。
  
  卷积会向下取整，到边界不满足信息的话，会向下取整。
  输出特征图尺寸计算：
  $$F_o=\left[\frac{F_{\text{in }}-k+2p}{s}\right]+1$$
  

多通道卷积 ： RGB图像是3hw的三维的数据，第一个维度3，表示channel，通道数
一个卷积核是3-D张量，第一个维与输入通道有关
注：卷积核尺寸通常指高、宽

3.池化操作

图像识别特点
• 下采样图像，不会改变图像目标——降低计算量，减少特征冗余

池化：一个像素表示一块区域的像素值，降低图像分辨率

一块区域像素如何被一个像素代替：
方法1: Max Pooling，取最大值
方法2: Average Pooling，取平均值

输出尺寸计算与卷积操作类似：
$$F_o=\lfloor \frac{F_{\text{in }}-k+2p}{s}\rfloor +1$$
注意：池化层无可学习参数

池化作用 ：

1. 缓解卷积层对位置的过度敏感：与C细胞功能类似
   
2. 减少冗余
3. 降低图像分辨率，从而减少参数量

4.Lanet-5及CNN结构进化史

1998-Lecun-Gradient-Based Learning Applied to Document Recognition
C1层： 卷积核K1=(6, 1, 5, 5), p=1, s=1，output=(6, 28, 28)
S2层： 最大池化层， 池化窗口=(2,2)，s=2，output=(6, 14, 14)
C3层： 卷积核K3=(16, 6, 5, 5), p=1, s=1，output=(16, 10, 10)
S4层： 最大池化层， 池化窗口=(2,2)，s=2，output=(16, 5, 5)
FC层： 3个FC层输出分类

特征提取器：C1、S2、C3、S4
分类器：3个FC层

CNN进化史

1. 1980 Neocognition 福岛邦彦
2. 1998 Lenet-5 Lecun
3. 2012 AlexNet Alex
4. 2014 GoogLenet Google
5. 2014 VGG-Net VGG
6. 2015 ResNet Kaiming He
7. 2017 DenseNet Gao Huang
8. 2017 SE-Net Jie Hu

三、循环神经网络

1. 序列数据（Sequence Data）

序列数据是常见的数据类型，前后数据通常具有关联性
例如句子 “Cats average 15 hours of sleep a day”

2. 语言模型（Language Model）

语言模型是自然语言处理 (NLP, Natural Language Processing) 重要技术
NLP中常把文本看为离散时间序列，一段长度为T的文本的词依次为 ${\mathrm{w}}_1,{\mathrm{w}}_2,\dots ,{\mathrm{w}}_{\mathrm{T}}$，其中 ${\mathrm{w}}_{\mathrm{t}}(1\le \mathrm{t}\le \mathrm{T})$ 是时间步 ( Time Step） $\mathrm{t}$ 的输出或标签

语言模型将会计算该序列概率 $$\mathrm{P}\left({\mathrm{w}}_1,{\mathrm{w}}_2,\dots ,{\mathrm{w}}_{\mathrm{T}}\right)$$

Cats average 15 hours of sleep a day
这句话中 T = 8.

语言模型计算序列概率：$$P\left(w_1,w_2,\dots ,w_T\right)=\prod _{t=1}^{T}P\left(w_t\mid w_1,\dots ,w_{t-1}\right)$$
P( 我, 在, 听, 课 ) = P(我) * P（在｜我）* P（ 听｜我 ，在）* P（课 ｜ 我 ，在，听）
统计语料库（Corpus）中的词频，得到以上概率，最终得到P(我, 在, 听, 课)
缺点： 时间步t的词需要考虑t -1步的词，其计算量随t呈指数增长。

3. RNN-循环神经网络（Recurrent neural network）

$\mathrm{R}\mathrm{N}\mathrm{N}$ 是针对序列数据而生的神经网络结构，核心在于循环使用网络层参数，避免时间步增大带来的参数激增，并引入**隐藏状态（Hidden State）**用于记录历史信息，有效处理数据的前后关联性。

**隐藏状态（Hidden State）**用于记录历史信息，有效处理数据的前后关联性，激活函数采用Tanh，将输出值域限制在（-1，1），防止数值呈指数级变化。

RNN构建语言模型，实现文本生成。假设文本序列：“想”，“要”，“有”，“直”，“升”，“机”。

RNN特性：

1. 循环神经网络的隐藏状态可以捕捉截至当前时间步的序列的历史信息；
2. 循环神经网络模型参数的数量不随实践部的增加而增长。

RNN的通过（穿越）时间反向传播（backpropagation through time）

有几条通路，就几项相加。

$$\frac{\partial L}{\partial {\mathbf{W}}_{qh}}=\sum _{t=1}^T\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_t},\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{W}}_{qh}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{o}}_t}{\mathbf{h}}_t^{\top }$$
$$\frac{\partial L}{\partial {\mathbf{h}}_T}=\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_T},\frac{\partial {\mathbf{o}}_T}{\partial {\mathbf{h}}_T}\right)={\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_T}$$
$$\begin{array}{rl}\frac{\partial L}{\partial {\mathbf{h}}_t}& =\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_{t+1}},\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_t}\right)+\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_t},\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{h}}_t}\right)\\ & ={\mathbf{W}}_{hh}^{\top }\frac{\partial L}{\partial {\mathbf{h}}_{t+1}}+{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_t}\end{array}$$
举例，比如T是3，则t指2。
$$\frac{\partial L}{\partial {\mathbf{h}}_{t1}}=\sum _{i=t}^T{\left({\mathbf{W}}_{hh}^{\top }\right)}^{T-i}{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_{T+t-i}}$$
其实是三项之和。
$$\begin{array}{l}\frac{\partial L}{\partial {\mathbf{W}}_{hx}}={\sum }_{t=1}^T\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hx}}\right)={\sum }_{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{x}}_t^{\top }\\ \frac{\partial L}{\partial {\mathbf{W}}_{hh}}={\sum }_{t=1}^T\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hh}}\right)={\sum }_{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{h}}_{t-1}^{\top }\end{array}$$

梯度随时间t呈指数变化，易引发梯度消失或梯度爆炸。

4. GRU-门控循环单元（Gated Recurrent Unit）

引入门的循环网络
缓解RNN梯度消失带来的问题，引入门概念，来控制信息流动，使模型更好的记住长远时期的信息，并缓解梯度消失
重置门：哪些信息需要遗忘
更新门：哪些信息需要注意
激活函数为：Sigmoid，值域为(0, 1)，0表示遗忘，1表示保留。

侯选隐藏状态
输入与上一时间步隐藏状态共同计算得到候选隐藏状态，用于隐藏状态计算。通过重置门，对上一时间步隐藏状态进行选择性遗忘， 对历史信息更好的选择。

GRU：$${\tilde{\mathbf{H}}}_t=\tanh \left({\mathbf{X}}_t{\mathbf{W}}_{xh}+\left({\mathbf{R}}_t\odot {\mathbf{H}}_{t-1}\right){\mathbf{W}}_{hh}+{\mathbf{b}}_h\right)$$
RNN：$${\mathbf{H}}_t=\varphi \left({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h\right)$$
隐藏状态
隐藏状态由候选隐藏状态及上一时间步隐藏状态组合得来
${\mathbf{H}}_t={\mathbf{Z}}_t\odot {\mathbf{H}}_{t-1}+\left(1-{\mathbf{Z}}_t\right)\odot {\tilde{\mathbf{H}}}_t$

GRU一一引入门控机制的循环网络
GRU特点:
门机制采用Sigmoid激活函数，使门值为 $(0,1)$ ，0表示遗忘， 1表示保留。
若更新门自第一个时间步到 $\mathrm{t}-1$ 时间过程中，一直保持为1 ， 信息可有效传递到当前时间步。
$${\mathbf{H}}_t={\mathbf{Z}}_t\odot {\mathbf{H}}_{t-1}+\left(1-{\mathbf{Z}}_t\right)\odot {\tilde{\mathbf{H}}}_t$$

重置门：哪些信息需要遗忘
更新门：哪些信息需要注意
重置门：用于遗忘上一时间步隐藏状态
$${\tilde{\mathbf{H}}}_t=\tanh \left({\mathbf{X}}_t{\mathbf{W}}_{xh}+\left({\mathbf{R}}_t\odot {\mathbf{H}}_{t-1}\right){\mathbf{W}}_{hh}+{\mathbf{b}}_h\right)$$
更新门： 用于更新当前时间步隐藏状态
$${\mathbf{H}}_t={\mathbf{Z}}_t\odot {\mathbf{H}}_{t-1}+\left(1-{\mathbf{Z}}_t\right)\odot {\tilde{\mathbf{H}}}_t$$

5. LSTM-长短期记忆网络（Long Short-term Memory）

LSTM
引入 3 个门和记忆细胞，控制信息传递
遗忘门：哪些信息需要遗忘
输入门：哪些信息需要流入当前记忆细胞
输出门：哪些记忆信息流入隐藏状态
记忆细胞： 特殊的隐藏状态，记忆历史信息

候选记忆细胞
记忆细胞：可理解为特殊隐藏状态，储存历史时刻信息
$${\tilde{\mathbf{C}}}_t=\tanh \left({\mathbf{X}}_t{\mathbf{W}}_{xc}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hc}+{\mathbf{b}}_c\right)$$

记忆细胞与隐藏状态
记忆细胞由候选记忆细胞及上一时间步记忆细胞组合得来
$${\mathbf{C}}_t={\mathbf{F}}_t\odot {\mathbf{C}}_{t-1}+{\mathbf{I}}_t\odot \widetilde{{\mathbf{C}}_t}$$

由输出门控制记忆细胞信息流入隐藏状态
$${\mathbf{H}}_t={\mathbf{O}}_t\odot \tanh \left({\mathbf{C}}_t\right)$$

$$\begin{array}{rl}{\tilde{\mathbf{C}}}_t& =\tanh \left({\mathbf{X}}_t{\mathbf{W}}_{xc}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hc}+{\mathbf{b}}_c\right)\\ {\mathbf{C}}_t& ={\mathbf{F}}_t\odot {\mathbf{C}}_{t-1}+{\mathbf{I}}_t\odot {\tilde{\mathbf{C}}}_t\\ {\mathbf{H}}_t& ={\mathbf{O}}_t\odot \tanh \left({\mathbf{C}}_t\right)\end{array}$$

总结