深度学习（3）基础3 -- 前向传播与反向传播

目录

一、前向传播

1、目的

2、前向传播过程

二、反向传播（梯度下降）

1、意义 

2、目的

3、过程 

4、门单元

5、更新权重计算

整体过程  

---

前向传播：得到输出。

反向传播：更新权重。

最后调整权重：

 

一、前向传播

前向传播：从前往后，逐层计算。

1、目的

前向传播目的：得到损失值。

2、前向传播过程

1、先得到得分

2、把得分的差异放大（差异化，e^x）

3、归一化，得到概率

4、计算损失值

 拿到数据之后，先经过得分函数，并不是经过一次变换，而是多次的变换。

二、反向传播（梯度下降）

1、意义 

 从后往前，逐层求导，可以得到前一项的权重。

作用：更新模型，达到学习的效果。 

从后往前传递梯度，得到新计算出来的权重。

例如：

 三个求偏导意义分别是：x、y、z对 f(结果)的影响。

2、目的

反向传播目的：优化权重参数（根据前向传播得到的损失值）。

3、过程 

反向传播：从后往前，逐层计算。

目的：为了让损失函数的值最小。

反向偏导也可以一大块一大块地求。 

 

4、门单元

1、加法门单元（相加）

2、MAX门单元（取最大）

3、乘法门单元（相乘）

5、更新权重计算

对这一部分进行分析：

 为什么对w0求导，而不是x0？

x0是数据，不能随便改变，w0是权重，可以改变。 

整体过程  

 （上面是前向传播，逐层计算，得到损失；下面是反向传播，逆推逐层计算，更新权重）