1、损失函数是用来度量预测的效果:
这句话的意思是,预测效果好不好,我们需要用一个函数来度量,或者更直接一点,需要一个数来表示一下,例如0.9比0.8要好,而损失函数就是计算得到0.9还是0.8的函数。
2、交叉熵损失通过量化预测概率与真实概率分布之间的差异:
直白一些,就是有一个事真实概率分布是某个,我们又可以计算得出某个预测概率,计算这两个之间的距离的一种方式就是交叉熵H(P,Q),就是两个概率分布之间的距离的一种计算方式
3、softmax函数通常用于将一个向量(或一组实数)映射为一个概率分布
4、那么多分类问题的解决逻辑是,给每个类别都计算一个数,这样就得到了所有类别的一组数,用softmax将这组数映射为一个概率分布(被认为是预测的概率分布),然后用交叉熵来计算这个预测的概率分布与真实概率分布(用标签来表示)之间的距离,根据这个距离的反馈来计算梯度,更新参数,以使得这个距离变短,也就是损失函数变小,当损失函数很小时,我们认为这个任务被解决的比较好!
5、所以,多分类问题被变成了一个概率分布函数拟合问题!度量拟合效果的就是交叉熵损失,当然,也可以用其他的损失函数。