损失函数

一.交叉熵

• 交叉熵刻画的是两个概率分布之间的距离，给定两个概率分布p和q，通过q来表示p的交叉熵为：                                          

 

• 假设有一个三分类问题，某个样例的正确答案是（1,0,0）。某模型经过Softmax回归之后的预测答案是（0.5,0.4,0.1），那么这个预测与正确答案之间的交叉熵为：

• 如果另外一个模型的预测是（0.8,0.1,0.1），那么这个预测值与真实值之间的交叉熵是：

二.均方差

• 解决回归问题