目标函数

深度网络中的目标函数可谓是整个网络模型的“指挥棒”，目标函数也被称为“损失函数”或“代价函数”。通过样本的预测结果与真实标记产生的误差反向传播指导网络参数学习与表示学习。本文将介绍一些目标分类任务中的一些目标函数(因为我的研究方向更偏向于分类，所以有关回归的目标函数我就不在这里进行介绍)。另外，为了防止模型过拟合或达到其他训练目标——比如希望得到稀疏解，正则项通常作为对参数的约束也会加入到目标函数中一起指导模型训练。
同样，这篇文章由于涉及太多数学公式，为了方便，所以我直接进行截图给大家了。

分类任务的目标函数

交叉熵损失函数

合页损失函数

坡道损失函数

大间隔交叉熵损失函数

中心损失函数

总结

1.交叉熵损失函数是最为常用的分类目标函数，且效果一般优于合页损失函数;
2.大间隔损失函数和中心损失函数从增大类间距离、减小类内距离的角度不仅要求分类准确，而且还有助提高特征的分辨能力;坡道损失函数是分类问题目标函数中的一类非凸损失函数，由于其良好的抗噪特性，推荐将其用于样本噪声或离群点较多的分类任务。
注：文章选自《解析深度学习—卷积神经网络原理与视觉实践》魏秀参著