机器学习二------前向传播过程 反向传播算法（BP算法）Dropout 梯度消失和梯度爆炸

1.前向传播过程 

   思想：将上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止。

 

 对于Layer 2的输出 

 对于Layer 3的输出，

 

 简化后的形式就是：

2.反向传播算法（BP算法）

符号说明：

对应网络如下：

其中对应的矩阵表示如下：

正向传播计算过程：

 

同理：

所以最终的损失为：

接着推导反向传播，根据公式我们知道：

 

 我们需要求出C对w的偏导，则根据链式法则有：

 

同理也有：

同理如下：