前几篇博客,我们已经对神经网络这种伟大的算法有了一定的了解,但具体的计算过程,参数(权重)的学习过程,我们任然不清楚,接下来,我们一同来看看,在给定训练集下,为神经网络拟合参数的过程,正如我们学习LR等一样,我们将从拟合代价函数开始,我们重点认识神经网络在分类中的应用。(如下图)
如上图所示:我们有M个训练样本,用L表示一个神经网络的层数,sl表示l层的单元数目(神经元或者计算单元),其中不包括偏差单元。
对于上图的解释:首先,我们用到的激励函数是sigmoid函数,LR的costFunction如上图第一行,而对于一个多(K)元分类神经网络来说,有K个输出,也就是说代价函数应该是K个sigmoid代价函数的合。接下来让我们一同优化这个代价函数。(主要以反向传播讲解为主)
我们以梯度下降法来学习参数如下图:
让我们来看看如何计算这些偏导项,利用反向传播算法。
利用从输出到输入的过程,计算每一层的误差。下面我们来看有M个样本的情况。
公式推导。。。。等我推完发手写版