1,最大似然损失函数(Likelihood loss)
常用在分类问题上。形式上是把每一个预测值的概率相乘,得到一个损失值。
例如:对一组样本的预测为True(1)概率为[0.4, 0.6, 0.9, 0.1],它们的真实值分别为[0, 1, 1, 0],则损失值为
0.6
∗
0.6
∗
0.9
∗
0.9
=
0.2916
0.6*0.6*0.9*0.9=0.2916
0.6∗0.6∗0.9∗0.9=0.2916,对于真实值为False(0)的情况,要用(1-p)。
2,对数损失函数(Log loss)
也叫Cross Entropy Loss。与最大似然一样在分类问题中用的较多。形式为
−
y
∗
l
o
g
(
p
)
−
(
1
−
y
)
∗
l
o
g
(
1
−
p
)
-y*log(p)-(1-y)*log(1-p)
−y∗log(p)−(1−y)∗log(1−p),
对于二分类问题,y取值为0或1,p为预测结果为y的概率,log为自然对数。
此函数对误差大的结果惩罚很大,预测准确度与log loss的关系图如下:
Reference
https://blog.algorithmia.com/introduction-to-loss-functions/
http://neuralnetworksanddeeplearning.com/chap3.html