吴恩达机器学习视频--神经网络反向传播算法公式推导

反向传播算法

基础知识

我们在计算神经网络预测结果时采用了正向传播方法，从第一层开始正向一层一层进行计算算，直到最后一层的$h_{\theta }(x)$。在不作正则化处理的情况下，逻辑回归中的代价函数如下所示：
$$J(\theta )=-\frac{1}{m}[\sum _{j=1}^m{y}^{(i)}log{h}_{\theta }(x^i)+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$$
在神经网络中可以有很多输出变量，所以$h_{\theta }(x)$是一个维度为$K$的向量。此时代价函数如下所示：
$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m\sum _{k=1}^k{y}_k^{(i)}log{\left(h_{\theta }(x^{(i)})\right)}_k+\left(1-y_k^{(i)}\right)log{\left(1-\left(h_{\theta }(x^{(i)})\right)\right)}_k\right]$$
为了计算代价函数的偏导数$\frac{\partial J(\theta )}{\partial {\theta }_{ij}^{(l)}}$,我们需要一种反向传播算法，也就是首先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层（第一层不存在误差）。以下面例子说明反向传播算法。
假设我们的训练集只有一个实例$(x^{(1)},y^{(1)})$,神经网络是一个四层的神经网络，其中 K = 4 , S L = 4 , L = 4 K=4,S_L=4,L=4