神经网络中的损失函数

总览

这篇文章主要记录了对损失函数和目标函数的理解，然后介绍了两种较常用的损失函数：均方误差和交叉熵。重点是记录对于交叉熵的认识，以及为什么交叉熵可以表示损失或代价，即其作用原理。

正文

深度学习中，我们在定义神经网络模型时，首先要明确模型的损失函数(loss function)，即代价函数(cost function)。损失函数的作用是用来表示模型预测值和训练样本之间的差异，我们的目的是通过降低这个损失函数来不断改进模型参数，使模型预测越来越准确。当然，不能只降低某个预测值的损失函数，而是应当降低所有样本的总体损失函数，即全部样本上损失函数的平均值或数学期望，我们将这个期望值称为风险函数(risk function)。在训练集上，通过不断降低损失函数期望即风险函数来逐渐提高模型预测的准确度，就能得到拟合度很高的模型。但这会不可避免地造成过拟合，为了减少这种情况，还需要为损失函数加上另一个函数，即正则化函数，它用来度量模型的复杂度，我们希望模型尽可能的不复杂，以此来降低过拟合的可能性。正则化常用的有L1，L2范数。这样就最终形成了我们的目标函数(objective function)：

神经网络的训练过程就是不断降低目标函数的过程。

（