卷积神经网络基础2

一、误差得计算

以三层的神经网络为例，如下图：

其中，第一层为输入层，包含$x_1$和$x_2$两个节点；中间层为隐藏层，包含${\sigma }_1$、${\sigma }_2$、${\sigma }_3$三个节点；最后一层为输出层，包含$y_1$和$y_2$两个节点。另外，${\omega }_{(11)}^{(1)}$代表权重，其上标$(1)$中，1代表所在的层数； 其下标$(11)$中，第一个1代表上一层的第1个节点，第二个1代表本层的第1个节点；最后，$b$代表偏置。

具体而言，输出层$y_1$和$y_2$的计算如下：

$$\begin{array}{r}{y}_1={\omega }_{(11)}^{(2)}\cdot {\sigma }_1(x_1\cdot {\omega }_{(11)}^{(1)}+x_2\cdot {\omega }_{(21)}^{(1)}+b_1^{(1)})\\ +{\omega }_{(21)}^{(2)}\cdot {\sigma }_2(x_1\cdot {\omega }_{(12)}^{(1)}+x_2\cdot {\omega }_{(22)}^{(1)}+b_2^{(1)})\\ +{\omega }_{(31)}^{(2)}\cdot {\sigma }_3(x_1\cdot {\omega }_{(13)}^{(1)}+x_2\cdot {\omega }_{(23)}^{(1)}+b_3^{(1)})\\ +b_1^{(2)}\end{array}\text{\hspace{1em}(1)}$$
$$\begin{array}{r}{y}_2={\omega }_{(12)}^{(2)}\cdot {\sigma }_1(x_1\cdot {\omega }_{(11)}^{(1)}+x_2\cdot {\omega }_{(21)}^{(1)}+b_1^{(1)})\\ +{\omega }_{(22)}^{(2)}\cdot {\sigma }_2(x_1\cdot {\omega }_{(12)}^{(1)}+x_2\cdot {\omega }_{(22)}^{(1)}+b_2^{(1)})\\ +{\omega }_{(32)}^{(2)}\cdot {\sigma }_3(x_1\cdot {\omega }_{(13)}^{(1)}+x_2\cdot {\omega }_{(23)}^{(1)}+b_3^{(1)})\\ +b_2^{(2)}\end{array}\text{\hspace{1em}(2)}$$

$y_1$和$y_2$得到之后，通过$Softmax$函数输出最后的$O_1$和$O_2$（经过$Softmax$处理后所有输出节点概率和为1），具体计算如下：

$$\begin{array}{r}{O}_1=\frac{e^{y_1}}{e^{y_1}+e^{y_2}}\end{array}\text{\hspace{1em}(3)}$$

$$\begin{array}{r}{O}_2=\frac{e^{y_2}}{e^{y_1}+e^{y_2}}\end{array}\text{\hspace{1em}(4)}$$

接下来进行误差的计算，即计算交叉熵损失（Cross entropy loss），有如下两种计算方式：

1. 针对多分类问题（$Softmax$输出，所有输出概率和为1）

$$\begin{array}{r}H=-{\sum }_i{O}_i^{\ast }log(O_i)\end{array}\text{\hspace{1em}(5)}$$

2. 针对二分类问题（$Sigmoid$输出，每个输出节点之间互不相干）

$$\begin{array}{r}H=-\frac{1}{N}{\sum }_{i=1}^N[O_i^{\ast }log(O_i)+(1-O_i^{\ast })log(1-O_i)]\end{array}\text{\hspace{1em}(6)}$$

其中，$O_i^{\ast }$为真实标签值，$O_i$为预测值，默认$log$以$e$为底，即使用$ln$。

因为示例为二分类问题，故其误差的计算公式如下：

$$\begin{array}{r}Loss=-(O_1^{\ast }log(O_1)+O_2^{\ast }log(O_2))\end{array}\text{\hspace{1em}(7)}$$

二、误差的反向传播

以对${\omega }_{(11)}^{(2)}$的更新为例，即要求$Loss$对其的梯度（偏导数），为方便计算，首先将$(1)$式简化为$(8)$式，如下：

$$\begin{array}{r}{y}_1={\omega }_{(11)}^{(2)}\cdot a_1+{\omega }_{(21)}^{(2)}\cdot a_2+{\omega }_{(31)}^{(2)}\cdot a_3+b_1^{(2)}\end{array}\text{\hspace{1em}(8)}$$
具体梯度（偏导数）的计算如下：

$$\begin{array}{rl}& \frac{\partial Loss}{\partial {\omega }_{11}^{(2)}}=\frac{\partial Loss}{\partial y_1}\cdot \frac{\partial y_1}{\partial {\omega }_{11}^{(2)}}\\ & =(\frac{\partial Loss}{\partial O_1}\cdot \frac{\partial O_1}{\partial y_1}+\frac{\partial Loss}{\partial O_2}\cdot \frac{\partial O_2}{\partial y_1})\cdot \frac{\partial y_1}{\partial {\omega }_{11}^{(2)}}\\ & =[(-O_1^{\ast }\cdot \frac{1}{O_1})O_1(1-O_1)+(-O_2^{\ast }\cdot \frac{1}{O_2})O_1(O_1-1)]\cdot a_1\\ & =[-O_1^{\ast }\cdot \frac{1}{O_1}\cdot O_1\cdot O_2-O_2^{\ast }\cdot \frac{1}{O_2}\cdot (-O_1\cdot O_2)]\cdot a_1\\ & =(O_2^{\ast }\cdot O_1-O_1^{\ast }\cdot O_2)\cdot a_1\end{array}\text{\hspace{1em}(9)}$$

三、权重的更新

得到梯度以后，便可以进行权重的更新，具体更新如下：

$$\begin{array}{r}{\omega }_{11}^{(2)}(new)={\omega }_{11}^{(2)}(old)-learnin{g}_{rate}\cdot gradient\end{array}\text{\hspace{1em}(10)}$$

其中，${\omega }_{11}^{(2)}(new)$为新的权重值；${\omega }_{11}^{(2)}(old)$为旧的权重值；$learnin{g}_{rate}$为设置的学习率；$gradient$为梯度，即$gradient=\frac{\partial Loss}{\partial {\omega }_{11}^{(2)}}$。

在实际应用中往往不可能一次性将所有数据载入内存（算力也不够），所以只能分批次（batch）训练，分批次训练与整体训练区别如下：

为了使网络更快的收敛（加速分批次样本的求解），接下来引入常见的几种优化器（optimizer）：

1. SGD 优化器（Stochastic Gradient Descent，随机梯度下降）
   $$\begin{array}{r}{\omega }_{t+1}={\omega }_t-\alpha \cdot g({\omega }_t)\end{array}\text{\hspace{1em}(11)}$$
   其中，$\alpha$为学习率，$g({\omega }_t)$为$t$时刻对参数${\omega }_t$的损失梯度。该算法的缺点是：容易受样本噪声影响；可能陷入局部最优解。

2. SGD+Momentum（带动量的随机梯度下降）
   $$\begin{array}{rl}& {\nu }_t=\eta \cdot {\nu }_{t-1}+\alpha \cdot g({\omega }_t)\\ & {\omega }_{t+1}={\omega }_t-{\nu }_t\end{array}\text{\hspace{1em}(12)(13)}$$
   其中，$\alpha$为学习率，$g({\omega }_t)$为$t$时刻对参数${\omega }_t$的损失梯度，$\eta (0.9)$为动量系数。

3. Adagrad 优化器（自适应学习率）
   $$\begin{array}{rl}& s_t=s_{t-1}+g({\omega }_t)\cdot g({\omega }_t)\\ & {\omega }_{t+1}={\omega }_t-\frac{\alpha }{\sqrt{s_t+\epsilon }}\cdot g({\omega }_t)\end{array}\text{\hspace{1em}(14)(15)}$$
   其中，$\alpha$为学习率，$g({\omega }_t)$为$t$时刻对参数${\omega }_t$的损失梯度，$\epsilon (10^{-7})$为防止分母为零的参数。这里需要注意，学习率下降的太快，可能导致还没有收敛就停止训练。

4. RMSProp 优化器（自适应学习率）
   $$\begin{array}{rl}& s_t=\eta \cdot s_{t-1}+(1-\eta )\cdot g({\omega }_t)\cdot g({\omega }_t)\\ & {\omega }_{t+1}={\omega }_t-\frac{\alpha }{\sqrt{s_t+\epsilon }}\cdot g({\omega }_t)\end{array}\text{\hspace{1em}(16)(17)}$$
   其中，$\alpha$为学习率，$g({\omega }_t)$为$t$时刻对参数${\omega }_t$的损失梯度，$\eta (0.9)$为动量系数，$\epsilon (10^{-7})$为防止分母为零的参数。

5. Adam 优化器（自适应学习率）
   $$\begin{array}{rl}& m_t={\beta }_1\cdot m_{t-1}+(1-{\beta }_1)\cdot g({\omega }_t)\\ & {\nu }_t={\beta }_2\cdot {\nu }_{t-1}+(1-{\beta }_2)\cdot g({\omega }_t)\cdot g({\omega }_t)\\ & \widehat{m_t}=\frac{m_t}{1-{\beta }_1^t}\\ & \widehat{{\nu }_t}=\frac{{\nu }_t}{1-{\beta }_2^t}\\ & {\omega }_{t+1}={\omega }_t-\frac{\alpha }{\sqrt{\widehat{{\nu }_t}+\epsilon }}\cdot \widehat{m_t}\end{array}\text{\hspace{1em}(18)(19)(20)(21)(22)}$$
   其中，$\alpha$为学习率，$g({\omega }_t)$为$t$时刻对参数${\omega }_t$的损失梯度，${\beta }_1(0.9)$、${\beta }_2(0.999)$为控制衰减速度的参数，$\epsilon (10^{-7})$为防止分母为零的参数。