人工智能教程 - 学科基础课程2.6 - 机器学习导论 10.神经网络代价函数,反向传播,梯度检验

神经网络代价函数

神经网络二元分类和多类别分类问题

神经网络代价函数


反向传播

Backpropergation algorithm

让代价函数最小化的算法

minimize the cost function

需要做的是去解决$\frac{\partial }{\partial {\theta }_{ij}^{(l)}}J(\theta )$这个偏导项

反向传播算法

${\delta }_j^l$ = error of node j in layer l.

• 从输出层开始计算${\delta }_j^l$项
• 返回上一层第三层隐藏层的计算${\delta }_j^l$项
• 最后返回上一层第二层隐藏层的计算${\delta }_j^l$项，结束
• 第一层没有误差，所以不用计算

具体算法：

梯度检验/检查

Gradient checking

梯度检验的步骤以及重要性：

对于复杂函数的梯度计算的检验十分重要。