反向传播最简单推导

• 正向传播

对于单个神经元来说

前向传播： $z^{[l]}=W^{[l]}\cdot a^{[l-1]}+b^{[l]}$

激活函数： $a^{[l]}=g^{[l]}\left(z^{[l]}\right)$

矩阵化后对于单层的神经元

向量化实现过程可以写成： $z^{[l]}=W^{[l]}\cdot A^{[l-1]}+b^{[l]}$

​ $A^{[l]}=g^{[l]}(Z^{[l]})$

也就是说，一层神经元的输入是A^l-1 ，经过Z ，然后激活得到 A^l

A^l 是下一层的输入。

A⁰ 是第一层的输入，就是我们的原始样本数据，于是可以一直输入输出直到得到最后的输出A^l

于是前向传播

• 初始化$A^0$
• 输入$A^{}$