1、Cost function
神经网络进行多分类结果的输出是以向量的形式,给出Cost function 并同逻辑回归做对比。
L是神经网络的层数;SL是L层的结点数(不包括偏置结点);K代表几分类。
2、Backpropagation Algorithm
同线性回归和逻辑回归用梯度下降来求解损失函数的最小值一样,我们用BP算法(反向传播算法)来求解神经网络中损失函数的最小值。
首先,以一个4层的神经网络来计算前向传播过程(即第四周的神经网络左到右顺序计算过程)。
接着引入误差概念(下图中不考虑正则项,即lamba=0)
分类的结果有多个结点,delta中L表示神经网络层,j表示结点。当通过前向传播计算出a后,则可以得出误差:
反向求前一项误差:
注意:delta只计算到第二项,因为第一层是是输入层,不需要对输入层考虑误差项。而且注意相邻项之间是点乘
对上式最后俩项有
为计算损失函数的偏导数,引入Delta = 0;并有
并且规定:
由此得到偏导数的求解,注意j取值分俩种情况。
3、Backpropagation intuition
以一个具体例子来说明计算过程,求delta(2,2)