Task4-P13-14-深度学习介绍和反向传播算法

深度学习

Steps：神经网络$\to$模型评估$\to$择优

神经网络

神经元

完全连接前馈神经网络

• 中间层：hidden layer
• deep：即hidden layer层数多
  层数过多时，用矩阵运算更高效。

用矩阵表示运算

多层时，$y=f(w^l...f(w^{2}f(w^{1}x+b^1)+b^2)...+b^l)$

模型评估

$C(y,\hat{y})=-{\sum }_i\widehat{y_i}ln{y}_i$$\to$$L={\sum }_{n=1}^N{C}^n$
评估标准：$minL$

择优

方法：梯度下降

• 普遍性原理：任何一个函数都可以用一层hidden layer的神经网络来实现，只要神经元够多

反向传播算法

实质：梯度下降
可用多种框架工具来计算

$x^n\to 神经网络\to y^n\leftrightarrow \hat{y}$
记$y^n$和$\hat{y}$之间的差距为$C^n$
$L(\theta )={\sum }_n{C}^n(\theta )\Rightarrow \frac{\partial L(\theta )}{\partial w}={\sum }_n\frac{\partial C^n(\theta )}{\partial w}$

记$z=w_1{x}_1+w_2{x}_2+b$

$\frac{\partial C}{\partial w}=?\frac{\partial C}{\partial z}\frac{\partial z}{\partial w}$

其中$\frac{\partial z}{\partial w}$属于前向传递部分，$\frac{\partial C}{\partial z}$属于后向传递部分

前向传递部分

对应权重前面是谁，该偏微分的结果就是谁（即权重对应的输入）

后向传递部分

$\frac{\partial C}{\partial z}={\sigma }^{\prime }(z)[w_3\frac{\partial C}{\partial z^{\prime }}+w_4\frac{\partial C}{\partial z^{\prime \prime }}]$

情形一：若$z^{\prime }$，$z^{\prime \prime }$已经是输出端

$z^{\prime }\to y_1$，$z^{\prime \prime }\to y_2$

$\frac{\partial C}{\partial z^{\prime }}=\frac{\partial C}{\partial y_1}\frac{\partial y_1}{\partial z^{\prime }}$

$\frac{\partial C}{\partial z^{\prime \prime }}=\frac{\partial C}{\partial y_2}\frac{\partial y_2}{\partial z^{\prime \prime }}$

情形二：若$z^{\prime }$，$z^{\prime \prime }$还不是输出端

从output端往前计算偏微分，逐层计算

每一层都按照如下情形计算

$\frac{\partial C}{\partial z}={\sigma }^{\prime }(z)[w_3\frac{\partial C}{\partial z^{\prime }}+w_4\frac{\partial C}{\partial z^{\prime \prime }}]$