深度学习基础模型

DNN神经网络

前向传播算法

假设第$l-1$层共有m个神经元，则对于第$l$层的第$j$个神经元的输出$a_j^l$：
$$a_j^l=\sigma \left(z_j^l\right)=\sigma \left(\sum _{k=1}^m{w}_{jk}^l{a}_k^{l-1}+b_j^l\right)$$
使用代数一个个表示比较复杂，使用矩阵法则比较简单。第$l$层的输出为：
$$a^l=\sigma \left(z^l\right)=\sigma \left(W^l{a}^{l-1}+b^l\right)$$

反向传播算法（BP）

定义一个损失函数，此处以最常见的均方差来度量损失：
$$J(W,b,x,y)=\frac{1}{2}{\Vert y-a^L\Vert }_2^2=\frac{1}{2}\sum _j{\left(y_j-a_j^L\right)}^2$$

• 计算最后一层神经网络产生的错误
  $${\delta }^L=\frac{\partial J(W,b,x,y)}{\partial z^L}=\frac{\partial J(W,b,x,y)}{\partial a^L}\cdot \frac{\partial a^L}{\partial z^L}=\left(a^L-y\right)\odot {\sigma }^{\prime }\left(z^L\right)$$

• 由后往前，计算每一层神经网络产生的错误
  $${\delta }^l=\frac{\partial J(W,b,x,y)}{\partial z^l}={\left(\frac{\partial z^L}{\partial z^{L-1}}\frac{\partial z^{L-1}}{\partial z^{L-2}}\cdots \frac{\partial z^{l+1}}{\partial z^l}\right)}^T\frac{\partial J(W,b,x,y)}{\partial z^L}$$

$$\because \frac{\partial z^{l+1}}{\partial z^l}=\frac{W^{l+1}{a}^l+b^{l+1}}{\partial z^l}=\frac{W^{l+1}\sigma \left(z^l\right)+b^{l+1}}{\partial z^l}=W^{l+1}\mathrm{diag}\left({\sigma }^{\prime }\left(z^l\right)\right)$$
$$\begin{gathered} \therefore {\delta }^l=\frac{\partial J(W,b,x,y)}{\partial z^l}={\left(\frac{\partial z^{l+1}}{\partial z^l}\right)}^T\frac{\partial J(W,b,x,y)}{\partial z^{l+1}}={\left(\frac{\partial z^{l+1}}{\partial z^l}\right)}^T{\delta }^{l+1} \\ =\mathrm{diag}\left({\sigma }^{\prime }\left(z^l\right)\right){\left(W^{l+1}\right)}^T{\delta }^{l+1}={\left(W^{l+1}\right)}^T{\delta }^{l+1}\odot {\sigma }^{\prime }\left(z^l\right) \end{gathered}$$

• 计算权重的梯度
  $$\frac{\partial J(W,b,x,y)}{\partial w^l}=\frac{\partial z^l}{\partial w^l}\cdot \frac{\partial J(W,b,x,y)}{\partial z^l}=a^{l-1}{\delta }^l$$
• 计算偏置的梯度
  $$\frac{\partial J(W,b,x,y)}{\partial b^l}=\frac{\partial z^l}{\partial b^l}\cdot \frac{\partial J(W,b,x,y)}{\partial z^l}={\delta }^l$$

CNN

卷积神经网络哪些部分构成？各部分作用分别是什么？

如果使用全连接前馈网络来处理图像时，会存在以下两个问题：

• 参数太多
• 局部不变性特征： 全连接前馈网络很难提取局部不变特征，一般需要进行数据增强来提高性能。

卷积神经网络一般由卷积层、池化层和全连接层交叉堆叠而成的前馈神经网络，使用反向传播算法进行训练。卷积神经网络有三个结构上的特性： 局部连接，权重共享和子采样。

• 卷积层的作用： 局部连接，权重共享
• 池化层也称为子采样层的作用： 进行特征选择，降低特征数量，并从而减少参数数量。

矩阵的大小

$$ou{t}_{width}=\lfloor (i{n}_{width}+pa{d}_{width}-flite{r}_{width}+strid{e}_{width})/strid{e}_{width}\rfloor$$

为什么CNN能够用来做文本分类？

CNN就是一个超级N-Gram，而N-Gram就是考虑局部统计信息的语言模型，CNN相当于在低维向量空间中实现了它。

CNN用于自然语言处理的缺点

无法捕获远距离特征的问题，因为CNN不是通过卷积核覆盖的那个滑动窗口来捕获特征，捕获到的特征基本上都体现在这个滑动窗口中。针对这个问题提出了两种解决方法，一是Dilated 卷积，跳过一些特征，这样就能捕获更长距离的特征。 二是加深深度，在前一层的基础上继续使用卷积捕获特征。两种方式如下图所示

池化层的优点和缺点

优点：
（1） 这个操作可以保证特征位置与旋转不变性，因为不论这个强特征在哪个位置出现，都会不考虑其出现位置而能把它提出来。但对于NLP来说，这个特性其实并不一定是好事，因为在很多NLP的应用场合，特征的出现位置信息是很重要的，比如主语出现位置一般在句子头，宾语一般出现在句子尾等等，这些位置信息其实有时候对于分类任务来说还是很重要的，但是Max Pooling 基本把这些信息抛掉了。
（2） MaxPooling能减少模型参数数量，有利于减少模型过拟合问题。
（3） 对于NLP任务来说，Max Pooling有个额外的好处；在此处，可以把变长的输入X整理成固定长度的输入。因为CNN最后往往会接全联接层，而其神经元个数是需要事先定好的，如果输入是不定长的那么很难设计网络结构。

缺点：
（1） 特征的位置信息在这一步骤完全丢失
（2） 有时候有些强特征会出现多次，比如我们常见的TF.IDF公式，TF就是指某个特征出现的次数，出现次数越多说明这个特征越强，但是因为Max Pooling只保留一个最大值，所以即使某个特征出现多次，现在也只能看到一次，就是说同一特征的强度信息丢失了。

改进
K-Max Pooling 和Chunk-Max Pooling
K-Max Pooling是一种全局取Top K特征的操作方式，而Chunk-Max Pooling则是先分段，在分段内包含特征数据里面取最大值，所以其实是一种局部Top K的特征抽取方式。

CNN的前向传播

输入层到卷积层
$$a^2=\sigma (z^2)=\sigma (a^1\ast W^2+b^2)$$

第$l$层卷积，星号代表卷积：
$$a^l=ReLU(z^l)=ReLU(W^l\ast a^{l-1}+b^l)$$
第$l$层池化：
$$a^l=pool(a^{l-1})$$
第$l$层全连接层：
$$a^l=\sigma (z^l)=\sigma (W^l{a}^{l-1}+b^l)$$

输出层：
$$a^L=softmax(z^L)=softmax(W^L{a}^{L-1}+b^L)$$

CNN的反向传播

参考： https://www.cnblogs.com/pinard/p/6494810.html
从DNN的反向传播算法到CNN，有几个问题需要解决：

• 池化层没有激活函数 ，这个问题比较好解决，当作是线性激活函数即可
• 池化层在前向传播时，对输入进行压缩
• 卷积层是通过张量卷积，或者说若干个矩阵卷积求和而得的当前层的输出
• 对于卷积层，由于$W$使用的运算是卷积，那么${\delta }^l$推导出改成的所有卷积核的$W,b$的方式也不同

（1） 线性激活函数，$\sigma (z)=z$，反向传播值为1
（2）已知池化层${\delta }^l$，推导上一隐藏层的${\delta }^{l-1}$：
在求导时需要将${\delta }^l$的所有子矩阵矩阵大小还原成之前的大小，该操作称为upsample
$${\delta }_k^{l-1}={\left(\frac{\partial a_k^{l-1}}{\partial z_k^{l-1}}\right)}^T\frac{\partial J(W,b)}{\partial a_k^{l-1}}=u\text{psample}\left({\delta }_k^l\right)\odot {\sigma }^{\prime }\left(z_k^{l-1}\right)$$
（3）一直卷积层${\delta }^l$，推导上一隐藏层的${\delta }^{l-1}$
$${\delta }^{l-1}=\frac{\partial J(W,b)}{\partial z^{l-1}}={\left(\frac{\partial z^l}{\partial z^{l-1}}\right)}^T\frac{\partial J(W,b)}{\partial z^l}={\left(\frac{\partial z^l}{\partial z^{l-1}}\right)}^T{\delta }^l={\delta }^l\ast rot180(W^l)\odot {\sigma }^{\prime }(z^{l-1})$$
这个式子与DNN的类似，区别在于对于含有卷积的式子求导时，卷积核被旋转了180度，即式子中的$rot180()$，翻转180度的意思是上下翻转一次，接着左右反转一次.
$$\left(\begin{array}{lll}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)\ast \left(\begin{array}{cc}{w}_{11}& w_{12}\\ w_{21}& w_{22}\end{array}\right)=\left(\begin{array}{cc}{z}_{11}& z_{12}\\ z_{21}& z_{22}\end{array}\right)$$
$$\left(\begin{array}{cccc}0& 0& 0& 0\\ 0& {\delta }_{11}& {\delta }_{12}& 0\\ 0& {\delta }_{21}& {\delta }_{22}& 0\\ 0& 0& 0& 0\end{array}\right)\ast \left(\begin{array}{cc}{w}_{22}& w_{21}\\ w_{12}& w_{11}\end{array}\right)=\left(\begin{array}{ccc}\nabla a_{11}& \nabla a_{12}& \nabla a_{13}\\ \nabla a_{21}& \nabla a_{22}& \nabla a_{23}\\ \nabla a_{31}& \nabla a_{32}& \nabla a_{33}\end{array}\right)$$
（4）已知卷积层的${\delta }^l$，推导该层的$W,b$的梯度
对于全连接层可以按照DNN的反向传播算法求该层$W,b$的梯度，而池化层并没有$W,b$，也不用求$W,b$的梯度。只有卷积层的$W,b$需要求出
注意到卷积层$z$和$W,b$的关系为：
$$z^l=a^{l-1}\ast W^l+b$$
因此有：
$$\frac{\partial J(W,b)}{\partial W^l}=a^{l-1}\ast {\delta }^l$$
【注意】此时卷积核并没有反转，主要是此时是层内进行求导，而不是反向传播到上一层的求导
对于$b$，稍微有些特殊，因为${\delta }^l$是高维张量，而$b$只有一个张量，不能像DNN那样直接和${\delta }^l$相等。通常的做法是将${\delta }^l$的各个子矩阵的项分别求和，得到一个误差项量，即为$b$的梯度
$$\frac{\partial J(W,b)}{\partial b^l}=\sum _{u,v}{\left({\delta }^l\right)}_{u,v}$$

RNN

什么是循环神经网络？循环神经网络的基本结构是怎样的？

**循环神经网络是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其它神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。**和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构。循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。循环神经网络的参数学习可以通过随时间反向传播算法来学习。随时间反向传播算法即按照时间的逆序将错误信息一步步地往前传递。当输入序列比较长时，会存在梯度爆炸和消失问题，也称为长期依赖问题。 为了解决这个问题，人么对循环神经网络进行了很多的改进，**其中最有效的改进方式引入门控机制。**此外，循环神经网络可以很容易地扩展到两种更广义的记忆网络模型：递归神经网络和图网络。

RNN的大致思路，RNN的结构图

$${\mathbf{H}}_t=\varphi \left({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h\right)$$
与多层感知机相比，RNN多了$H_{t-1}{W}_{hh}$一项。隐藏变量$H_t$能够捕获截止当前时间步的序列的历史信息

循环神经网络RNN常见的几种设计模式是怎样的？

• 序列到类别模式
• 同步序列到序列模式
• 异步的序列到序列模式

RNN前向传播算法

对于任意一个序列索引号$t$，隐藏状态$h^{(t)}$有$x^{(t)}$和$h^{(t-1)}$得到：
$$h^{(t)}=\sigma \left(z^{(t)}\right)=\sigma \left(U{x}^{(t)}+W{h}^{(t-1)}+b\right)$$
其中$\sigma$为RNN的激活函数，通常为$tanh,b$为偏置
序列索引号$t$时模型的输出$o^{(t)}$的表达式比较简单
$$o^{(t)}=V{h}^{(t)}+c$$
最终在序列索引号$t$时我们的预测输出为：
$${\hat{y}}^{(t)}=\sigma \left(o^{(t)}\right)$$
通常由于RNN是识别类的分类模型，所以上面这个激活函数一般是softmax.

RNN反向传播算法推导

$U,W,V,b,c$在序列的各个位置时共享的，反向传播时更新的是相同的参数
为简化描述，损失函数使用交叉熵损失函数，输出的激活函数为softmax函数，隐藏层的激活函数为tanh
【说明】$tan{h}^{\prime }(x)=1-tan{h}^2(x)$对求${\delta }^{(t)}$有用
对于RNN，由于我们在序列的每个位置都有损失函数，因此最终的损失$L$为：
$$L=\sum _{t=1}^{\tau }{L}^{(t)}$$
其中$V,c$的梯度计算时比较简单的
$$\begin{array}{c}\frac{\partial L}{\partial c}={\sum }_{t=1}^{\tau }\frac{\partial L^{(t)}}{\partial c}={\sum }_{t=1}^{\tau }({\hat{y}}^{(t)}-y^{(t)})\\ \frac{\partial L}{\partial V}={\sum }_{t=1}^{\tau }\frac{\partial L^{(t)}}{\partial V}={\sum }_{t=1}^{\tau }\left({\hat{y}}^{(t)}-y^{(t)}\right){\left(h^{(t)}\right)}^T\end{array}$$
定义序列索引$t$位置的隐藏状态的梯度：${\delta }^{(t)}=\frac{\partial L}{\partial h^{(t)}}$
$${\delta }^{(t)}={\left(\frac{\partial o^{(t)}}{\partial h^{(t)}}\right)}^T\frac{\partial L}{\partial o^{(t)}}+{\left(\frac{\partial h^{(t+1)}}{\partial h^{(t)}}\right)}^T\frac{\partial L}{\partial h^{(t+1)}}=V^T\left({\hat{y}}^{(t)}-y^{(t)}\right)+W^T\mathrm{diag}\left(1-{\left(h^{(t+1)}\right)}^2\right){\delta }^{(t+1)}$$
对于${\delta }^{\tau }$，由于后面没有其他序列索引，因此有：
$${\delta }^{(\tau )}={\left(\frac{\partial o^{(\tau )}}{\partial h^{(\tau )}}\right)}^T\frac{\partial L}{\partial o^{(\tau )}}=V^T\left({\hat{y}}^{(\tau )}-y^{(\tau )}\right)$$
所以计算$W,U,b$梯度计算表达式：
$$\begin{array}{c}\frac{\partial L}{\partial W}={\sum }_{t=1}^{\tau }\mathrm{diag}\left(1-{\left(h^{(t)}\right)}^2\right){\delta }^{(t)}{\left(h^{(t-1)}\right)}^T\\ \frac{\partial L}{\partial b}={\sum }_{t=1}^{\tau }\mathrm{diag}\left(1-{\left(h^{(t)}\right)}^2\right){\delta }^{(t)}\\ \frac{\partial L}{\partial U}={\sum }_{t=1}^{\tau }\mathrm{diag}\left(1-{\left(h^{(t)}\right)}^2\right){\delta }^{(t)}{\left(x^{(t)}\right)}^T\end{array}$$

循环神经网络RNN怎样进行参数学习？

随时间反向传播（BPTT）算法的主要思想是通过类似前馈神经网络的错误反向传播算法来进行计算梯度。BPTT算法将循环神经网络看作是一个展开的多层前馈网络，其中“每一层”对应循环网络中的“每个时刻”。这样，循环神经网络就可以按照前馈网络中的反向传播算法进行计算参数梯度。在“展开”的前馈网络中，所有层的参数是共享的。因此参数的真实梯度是将所有“展开层”的参数梯度之和。

$$\begin{array}{rl}{\delta }_{t,k}& =\frac{\partial {\mathcal{L}}_t}{\partial {\mathbf{z}}_k}\\ & =\frac{\partial {\mathbf{h}}_k}{\partial {\mathbf{z}}_k}\frac{\partial {\mathbf{z}}_{k+1}}{\partial {\mathbf{h}}_k}\frac{\partial {\mathcal{L}}_t}{\partial {\mathbf{z}}_{k+1}}\\ & =\mathrm{diag}\left(f^{\prime }\left({\mathbf{z}}_k\right)\right)U^{\mathrm{T}}{\delta }_{t,k+1}\end{array}$$

定义${\delta }_{t,k}$为第t时刻的损失对第k时刻隐藏神经层的净输入$z_k=U{h}_{k-1}+W{x}_k+b$的导数，同样对$U,W$求导则可得到随时间反向传播的公式
$$\begin{array}{rl}\frac{\partial \mathcal{L}}{\partial U}=& \sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{\mathbf{h}}_{k-1}^{\mathrm{T}}\\ \frac{\partial \mathcal{L}}{\partial W}=& \sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{\mathbf{x}}_k^{\mathrm{T}}\\ \frac{\partial \mathcal{L}}{\partial \mathbf{b}}=& \sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}\end{array}$$

BPTT推导

参考： http://zh.gluon.ai/chapter_recurrent-neural-networks/bptt.html

简单起见，考虑一个无偏差的循环神经网络，且激活函数为恒等映射($\varphi (x)=x$)，那么隐藏状态${\mathbf{h}}_t\in {\mathbb{R}}^h$的计算表达式为:
$$\begin{gathered} {\mathbf{h}}_t={\mathbf{W}}_{hx}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t-1} \\ {\mathbf{o}}_t={\mathbf{W}}_{qh}{\mathbf{h}}_t \end{gathered}$$
设时间步 $t$ 的损失为$\ell \left({\mathbf{o}}_t,y_t\right)$， 时间步数为 $T$ 的损失函数 $L$ 定义为$$L=\frac{1}{T}\sum _{t=1}^T\ell \left({\mathbf{o}}_t,y_t\right)$$

图中模型的参数为$W_{hx},W_{hh},W_{qh}$， 那么训练模型通常需要模型参数的梯度$\frac{\partial L}{\partial {\mathbf{W}}_{hx}},\frac{\partial L}{\partial {\mathbf{W}}_{hh}},\frac{\partial L}{\partial {\mathbf{W}}_{qh}}$

首先，目标函数有关时间步输出层变量的梯度$\partial L/\partial o_t\in {\mathbb{R}}^q$会让你容易计算：
$$\frac{\partial L}{\partial o_t}=\frac{\partial }{T\cdot \partial o_t}\sum _{t=1}^T\ell \left({\mathbf{o}}_t,y_t\right)=\frac{\partial \ell \left({\mathbf{o}}_t,y_t\right)}{T\cdot \partial {\mathbf{o}}_t}$$

$$\frac{\partial L}{\partial {\mathbf{W}}_{qh}}=\sum _{t=1}^T\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_t},\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{W}}_{qh}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{o}}_t}{\mathbf{h}}_t^{\top }$$

其中 prod 运算符将根据两个输入的形状，在必要的操作（如转置和互换输入位置）后对两个输入做乘法

在第T个时刻(即最后一个时刻，图中为T=3) ，$h_T$只依赖于$o_T$进行反向传播，因此:
$$\frac{\partial L}{\partial {\mathbf{h}}_T}=\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_T},\frac{\partial {\mathbf{o}}_T}{\partial {\mathbf{h}}_T}\right)={\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_T}$$
对于时间步$t<T，h_t$需要依赖$o_t$和$h_{t+1}$反向传播。依据链式法则，目标函数有关时间步$t<T$的隐藏状态的梯度$\partial L/\partial {\mathbf{h}}_t\in {\mathbb{R}}^h$需要按照时间步从打到小依次计算
$$\begin{gathered} \frac{\partial L}{\partial {\mathbf{h}}_t}=\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_{t+1}},\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_t}\right)+\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_t},\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{h}}_t}\right) \\ ={\mathbf{W}}_{hh}^{\top }\frac{\partial L}{\partial {\mathbf{h}}_{t+1}}+{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_t} \\ ={\mathbf{W}}_{hh}^{\top }\left({\mathbf{W}}_{hh}^{\top }\frac{\partial L}{\partial {\mathbf{h}}_{t+2}}+{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_{t+1}}\right)+{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_t} \\ ={{\mathbf{W}}_{hh}^{\top }}^2\frac{\partial L}{\partial {\mathbf{h}}_{t+2}}+{\mathbf{W}}_{hh}^{\top }{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_{t+1}}+{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_t} \\ ={{\mathbf{W}}_{hh}^{\top }}^3\frac{\partial L}{\partial {\mathbf{h}}_{t+3}}+{{\mathbf{W}}_{hh}^{\top }}^2{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_{t+2}}+{\mathbf{W}}_{hh}^{\top }{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_{t+1}}+{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_t} \\ =\sum _{i=t}^T{\left({\mathbf{W}}_{hh}^{\top }\right)}^{T-i}{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_{T+t-i}}\text{\hspace{1em}(BPTT-1)} \end{gathered}$$
由上式中的指数项可见，当时间步数T较大或者时间步t较小时，目标函数有关隐藏状态的梯度较容易出现衰减或爆炸。这也会影响其他包含$\partial L/\partial {\mathbf{h}}_t$的梯度。

$$\begin{array}{rl}\frac{\partial L}{\partial {\mathbf{W}}_{hx}}& =\sum _{t=1}^T\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hx}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{x}}_t^{\top }\\ \frac{\partial L}{\partial {\mathbf{W}}_{hh}}& =\sum _{t=1}^T\mathrm{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hh}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{h}}_{t-1}^{\top }\end{array}$$

RNN中为什么会出现梯度消失或梯度爆炸，如何处理？

RNN产生长期依赖的原因与参数学习BPTT过程有关，实质就是参数$U$ 的更新主要靠当前时刻$k $的几个相邻状态 $h_k$来更新，长距离的状态对$U$没有影响。将${\delta }_{t,k}$展开可得到：
$${\delta }_{t,k}=\prod _{i=k}^{t-1}\left(\mathrm{diag}\left(f^{\prime }\left(z_i\right)\right)U^T\right){\delta }_{t,t}$$
如果令$\gamma \simeq \Vert \mathrm{diag}{f}^{\prime }\left(z_i\right)U^T\Vert$，可得到：${\delta }_{t,k}={\gamma }^{t-k}{\delta }_{t,t}$
若$\gamma >1$， 当$t-k\to \infty$造成系统不稳定，称为梯度爆炸问题， 相反，若$\gamma <1$，当$t-k\to \infty$时会出现和深度前馈神经网络类似的梯度消失问题
在循环神经网络中的梯度消失不是说$\frac{\alpha L}{\alpha U}$的梯度消失了，而是当$t-k\to \infty$时${\delta }_{t,k}$的梯度消失了。也就是说，参数$U$的更新主要靠当前时刻$k$的几个相邻状态$h_k$来更新，长距离的状态对$U$没有影响

对于梯度爆炸可以采用梯度裁剪和正则化的方式进行处理。 对于梯度消失可以修改激活函数ReLU，添加门控、使用Batch Normalization以及使用ResNet等方式

为什么在FC/CNN等结构中将原先的sigmoid、tanh换成ReLU可以取得比较好的效果

因为在链式求导时，sigmoid和tanh经常会导致网络出现梯度消失的问题，而relu函数的的改进就是使得导数均为1，无论神经网络是多少层，这部分的乘积始终为1，因此深层的梯度也可以传递到浅层中

RNN中为什么要采用tanh而不是ReLu作为激活函数？

参考： https://www.zhihu.com/question/61265076/answer/186347780

1. RNN中将激活函数换成Relu会导致非常大的输出值，与CNN这些每一层使用独立的参数$W_i$不同，原始的RNN在每个阶段都共享一个参数W。如果我们假设从某一层开始输入 $x_i$ 和偏置 $b_i$ 都为0，那么最后得到的输出就是$f[W...[Wf[Wf[W{f}_i]]]]$ ，这在某种程度上相当于对参数矩阵 W 作连乘，很显然，只要 W 有一个大于1的特征值，在经过若干次连乘后都会导致结果是一个数值非常庞大的矩阵。
2. Relu不能解决梯度在长距离上传递的问题，容易导致梯度爆炸。
3. 对于$W$和$b_i$取特殊初值: $W=I,b_i=0$的时候， 使用Relu函数，也能获得比较好的效果

应对梯度爆炸可以进行梯度的裁剪。

GRU

$$\begin{gathered} \begin{array}{rl}{\mathbf{R}}_t& =\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xr}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hr}+{\mathbf{b}}_r\right)\\ {\mathbf{Z}}_t& =\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xz}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hz}+{\mathbf{b}}_z\right)\end{array} \\ {\tilde{\mathbf{H}}}_t=\tanh \left({\mathbf{X}}_t{\mathbf{W}}_{xh}+\left({\mathbf{R}}_t\odot {\mathbf{H}}_{t-1}\right){\mathbf{W}}_{hh}+{\mathbf{b}}_h\right) \\ {\mathbf{H}}_t={\mathbf{Z}}_t\odot {\mathbf{H}}_{t-1}+\left(1-{\mathbf{Z}}_t\right)\odot {\tilde{\mathbf{H}}}_t \end{gathered}$$

LSTM

公式与图参考： https://zh.gluon.ai/chapter_recurrent-neural-networks/lstm.html

$$\begin{gathered} \begin{array}{rl}{\mathbf{I}}_t& =\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xi}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hi}+{\mathbf{b}}_i\right)\\ {\mathbf{F}}_t& =\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xf}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hf}+{\mathbf{b}}_f\right)\\ {\mathbf{O}}_t& =\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xo}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{ho}+{\mathbf{b}}_o\right)\end{array} \\ {\tilde{\mathbf{C}}}_t=\tanh \left({\mathbf{X}}_t{\mathbf{W}}_{xc}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hc}+{\mathbf{b}}_c\right) \\ {\mathbf{C}}_t={\mathbf{F}}_t\odot {\mathbf{C}}_{t-1}+{\mathbf{I}}_t\odot {\tilde{\mathbf{C}}}_t \\ {\mathbf{H}}_t={\mathbf{O}}_t\odot \tanh \left({\mathbf{C}}_t\right) \end{gathered}$$

LSTM中既存在tanh和sigmoid，为什么不统一采用一样的？

sigmoid用在了各种gate上，产生0~1之间的值，这个一般只有sigmoid最直接了。门是控制开闭的，全开始值为1，全闭时值为0，有开有闭时只在0到1之间。如果选择的激活函数得到的值不在0和1之间，通常来说是没有意义的。
tanh用在了状态和输出上，是对数据的处理。其实这里的激活函数的选取没有什么行与不行，只有好与不好而已。

LSTM各个单元作用分析

输出门$o_{t-1}$： 输出门的目的是从细胞状态$c_{t-1}$产生隐层单元$h_{t-1}$。并不是$c_{t-1}$中的全部信息都和隐层单元$h_{t-1}$有关，$c_{t-1}$可能包含了很多对$h_{t-1}$无用的信息。因此$o_t$的作用就是判断$c_{t-1}$中哪些部分是对$h_{t-1}$有用的，哪些部分是无用的。
输入门$i_t$： $i_t$控制当前词$x_t$的信息融入细胞状态$c_t$。在理解一句话时，当前词$x_t$可能对整句话的意思很重要，也可能并不重要。输入门的目的就是判断当前词$x_t$对全局的重要性。当$i_t$开关打开的时候，网络将不考虑当前输入$x_t$。
遗忘门$f_t$： $f_t$控制上一时刻细胞状态$c_{t-1}$的信息融入细胞状态$c_t$。在理解一句话时，当前词$x_t$可能还继续延续上文的意思继续描述，也可能从当前词$x_t$开始描述新的内容，与上文无关。在输入门$i_t$相反，$f_t$不对当前词$x_t$的重要性作判断，而判断的是上一时刻的细胞状态$c_{t-1}$对计算当前细胞状态$c_t$的重要性。当$f_t$开关打开的时候，网络将不考虑上一时刻的细胞状态$c_{t-1}$。
细胞状态$c_t$： $c_t$综合了当前词$x_t$和前一时刻细胞状态$c_{t-1}$的信息。这和ResNet中的残差逼近思想十分相似，通过从$c_{t-1}$到$c_t$的“短路连接”，梯度得以有效地反向传播。当$f_t$处于闭合状态时，$c_t$的梯度可以直接沿着最下面这条短路线传递到$c_{t-1}$，不受参数$W_{xh}$和$W_{hh}$的影响，这是LSTM能有效地缓解梯度消失现象的关键所在。【LSTM为什么能够缓解梯度消失】

LSTM能够处理不定长的输入，但在tf中为什么还要指定长度进行补全操作？

主要目的是为了能够使用矩阵表示，这样在计算的时候才能进行并行化的操作，加快速度。

LSTM和GRU的区别

• GRU和LSTM的性能在很多任务上很接近，但GRU参数更少，因此更容易收敛，但是数据集很大的情况下，LSTM表达性能更好
• 从结构上来说，GRU只有两个门（update和reset），LSTM有三个门（forget、input和output）， GRU直接将hidden state传个下一个单元，而LSTM则用memory cell把hidden state包装起来。