神经网络初步

一个简单的神经网络示意图

1.神经网络

（1）定义：神经网络是由神经元按层次结构组成的网络状图形单元

• 输入层：包含输入神经元
• 输出层：包含输出神经元
• 隐藏层：既不包含输入神经元也不包含输出神经元

（2）前馈神经网络：以上一层的输出作为下一层的输入，神经网络中不存在回路

*维度计算: $size(a^1)=(1,2)\to size(w^1)=(2,3)\to size(a^2)=(1,3)\to size(w^2)=(3,2)\to size(a^3)=(1,2)$

2.激活函数

（1）为什么需要激活函数

• 不添加激活函数时的多层神经网络系统实际上可以等效为一个仅有输入输出层的神经网络。
  $$\begin{gathered} {\alpha }^2={\alpha }^1{\omega }^2+b^2 \\ {\alpha }^3={\alpha }^2{\omega }^3+b^3 \\ =({\alpha }^1{\omega }^2+b^2){\omega }^3+b^3 \\ ={\alpha }^1({\omega }^2{\omega }^3)+(b^2{\omega }^3+b^3) \\ ... \end{gathered}$$
  类似的可以推出每增加一层都可以用新的等效式表示为一个仅有输入输出层的神经网络。

  由此，激活函数首先要能够改变变量间原有的线性关系。然后，把神经网络理解为对输入向量中每个量的权重进行各种组合调整，最后训练到能满足预测需求的模型。每一层的$z$的值表示了对应特征量权重组合的权重，而激活函数对$z$的权重进行重新评估，在靠近边界时变化迅速在远离边界时变化平缓。

（2）常用的激活函数

• sigmoid函数：$y=\frac{1}{1+e^{-x}}$

• tanh函数：$y=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

  

• ReLU函数：$y=max(0,x)$

3.代价函数

（1）二次代价函数

• $C=\frac{1}{2m}{\sum }_m|y-a{|}^2$

• 学习缓慢问题
  $$\begin{gathered} \frac{\partial C}{\partial \omega }=(a-y){\sigma }^{\prime }(z)x \\ \frac{\partial C}{\partial b}=(a-y){\sigma }^{\prime }(z) \end{gathered}$$

• 易得上式，当出现z趋近1或0的情况时时,sigmoid的导数趋近0。

• 故代价函数关于权重和偏置的偏导数也将趋近0，此时如果继续进行训练修改参数，代价函数变化缓慢，模型不会的效果不会有明显提升。

（2）交叉熵

• C = − 1 m ∑ m { y ln ⁡ a + ( 1 − y ) ln ⁡ ( 1 − a ) } C = - \frac{1}{m} \sum_m\{y \ln a +(1-y) \ln (1-a) \} C=−m1​∑m​{ylna+(1−y)ln(1−a)}

• $$\begin{gathered} \frac{\rho C}{\rho \omega }=\frac{1}{m}\sum _{x}x(\sigma (z)-y) \\ \frac{\rho C}{\rho \beta }=\frac{1}{m}\sum _x(\sigma (z)-y) \end{gathered}$$

  此时代价函数的偏导数随预测值偏差得到增大而增大，此时模型具有良好的自律性，并不会出现学习缓慢问题。

（3）柔性最大值(softmax)与对数似然代价

$$\begin{gathered} 柔性最大值激活函数{\alpha }_j^L=\frac{e^{z_j^L}}{{\sum }_k{e}^{z_k^L}} \\ 对数似然代价C=-ln{a}_y^l \end{gathered}$$

• 柔性最大值描述了第j个输出在当前层输出之和中的占比

• 柔性最大值不会出现学习缓慢的情况

• 反向传播（这里我不确定）

  ${\delta }_j^l=\frac{\partial C}{\partial a_j^l}{\sigma }^{\prime }(z_j^l)=a_j^l-y_i$

4.调整权重与阈值

神经网络的输出由输入x与权重$\omega$和偏置b决定，找到合适的$\omega$和b便是我们训练神经网络的目的。根据代价函数的结果评价$\omega$和b的价值。

（1）梯度下降算法

当输入相同，改变$\omega$和b即将代价函数视作关于变量$\omega$和b的函数，可得：
$$\Delta C\approx \frac{\partial C}{\partial \omega }\Delta \omega +\frac{\partial C}{\partial b}\Delta b$$
($\omega$和b并不代表只有一个权重和一个偏置)

令$\Delta \omega =-\frac{\partial C}{\partial \omega },\Delta b=-\frac{\partial C}{\partial b}$,易得$\Delta C<0$，意味着沿着这样的变化代价函数将逐渐减小，直到$\omega$和b令人满意。

这就是梯度下降算法，$\eta$即梯度下降算法的学习率，用来调节梯度下降的步伐，以求更好的近似度。
$$\begin{gathered} {\omega }_k={\omega }_k-\eta \frac{\partial C}{\partial \omega } \\ {b}_k=b_k-\eta \frac{\partial C}{\partial b} \end{gathered}$$

（2）反向传播算法

在梯度下降算法中我们知道了如何改变权重与偏置的值，但计算$\frac{\partial C}{\partial \omega }$仍然是件麻烦的事，因此引入了反向传播算法。

• 定义${\delta }_j^l\equiv \frac{\partial C}{\partial z_j^l}$，表示第l层第j个神经元上的误差，这里的误差是我们假设的，以研究其对代价函数的改变
• 反向传播的四个基本方程
  • BP1：${\delta }_j^l=\frac{\partial C}{\partial a_j^l}{\sigma }^{\prime }(z_j^l)$
  • BP2：${\delta }^l={\omega }^l{\delta }^{l+1}{\sigma }^{\prime }(z^l)$
  • BP3：$\frac{\partial C}{\partial b^l}={\delta }^l$
  • BP4：$\frac{\partial C}{\partial w_{jk}^l}=a_j^l{\delta }_k^{l+1}$

反向传播的四个方程给出了计算$\frac{\partial C}{\partial \omega }$和$\frac{\partial C}{\partial b}$的方法，也解释了为什么要反向推导。

5.规范化

（1）过拟合

神经网络在训练中越来越只能表现出training_data的特征，而不能很好的适用于test_data以及其它数据集，在经历一定epoch，test_data的准确率将维持在一个并不能令人满意的水平。

检验：使用validation_data数据集，在每个迭代期后检验分类准确率，在准确率饱和时应当停止训练，继续训练模型就会过拟合了。

（2）L2规范化

• 引入规范化项：$\frac{\lambda }{2m}\sum {\omega }^2$，将大的权重减小
• 规范化参数：$\lambda >0$
• 规范化代价函数： C = C 0 + λ 2 m ∑ ω ω 2 = − 1 m ∑ x { y ln ⁡ a + ( 1 − y ) ln ⁡ ( 1 − a ) } + λ 2 m ∑ ω ω 2 C=C_0+\frac{\lambda}{2m}\sum_\omega \omega^2=- \frac{1}{m} \sum_x\{y \ln a +(1-y) \ln (1-a) \}+\frac{\lambda}{2m}\sum_\omega \omega^2 C=C0​+2mλ​∑ω​ω2=−m1​∑x​{ylna+(1−y)ln(1−a)}+2mλ​∑ω​ω2（以交叉熵为例）

（3）其它规范化

• L1规范化^规范项 $\frac{\lambda }{n}{\sum }_{\omega }|\omega |$ ，将大的权重在高位趋同，将小的权重在低位趋0
• 弃权：每个epoch随机删除隐藏层神经元${\omega }^2$（以交叉熵为例）