吴恩达机器学习笔记之神经网络参数的反向传播算法

代价函数：

回顾Logistic Regression中的代价函数为：

神经网络的代价函数的基本思想与逻辑回归是一样的，但是形式上有一些差别：

L表示神经网络的层数，sl表示l层神经网中的神经元的个数，K表示输出层的神经元的个数；正则项的计算包含了每一个激活单元。

反向传播算法：

为了计算代价函数的偏导数，我们需要采用一种反向传播算法，它的目的是为了最小化我们的代价函数，即先计算最后一层的误差，然后在向前一层一层的计算，假如我们的神经网络有四层，并且输出单元有四个，那么最后一层的误差为： 

第三层的误差为：，其中，