交叉熵损失函数

损失函数和代价函数没有明确的界限，都是用来评估模型的预测性能的好坏。

交叉熵损失函数可以预测真实值和预测值之间的区别，通过loss值来判断预测模型之间的好坏。交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，

此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵损失函数几乎每次都是和sigmoid或者softmax函数一起使用。每个模型都是通过损失函数计算的误差来判断模型的预测能力，

损失函数小的代表模型的预测能力较强。改文章参考网址：https://blog.csdn.net/qq547276542/article/details/77980042

常见的损失函数

1.0-1损失函数(0-1 loss function)

可以看出，该损失函数的意义就是，当预测错误时，损失函数值为1，预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度，也就是只要预测错误，预测错误差一点和差很多是一样的。

2.平方损失函数(quadratic loss function)

 该损失函数的意义也很简单，就是取预测差距的平方。

3.绝对值损失函数(absolute loss function)

 该损失函数的意义和上面差不多，只不过是取了绝对值而不是求绝对值，差距不会被平方放大。

4.对数损失函数(logarithmic loss function)

这个损失函数就比较难理解，事实上，该损失函数用到了极大似然估计的思想， P(Y|X)通俗的解释就是：在当前模型的基础上，对于样本X，其预测值为Y，也就是预测正确的概率。由于概率之间的同时满足需要使用乘法，为了将其转化为加法，我们将其取对数。最后由于是损失函数，所以预测正确的概率越高，其损失值应该是越小，因此再加个负号取个反。