损失函数详解

https://www.jianshu.com/p/477a8c1cb05d

 

机器学习-损失函数详解

 

损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：

 

其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的Φ是正则化项（regularizer）或者叫惩罚项（penalty term），它可以是L1，也可以是L2，或者其他的正则函数。整个式子表示的意思是找到使目标函数最小时的θ值。下面主要列出几种常见的损失函数。

1、对数损失函数

Log损失函数的标准形式：

损失函数L(Y, P(Y|X))表达的是样本X在分类Y的情况下，使概率P(Y|X)达到最大值（换言之，就是利用已知的样本分布，找到最有可能（即最大概率）导致这种分布的参数值；或者说什么样的参数才能使我们观测到目前这组数据的概率最大）。因为log函数是单调递增的，所以logP(Y|X)也会达到最大值，因此在前面加上负号之后，最大化P(Y|X)就等价于最小化L了。
逻辑回归的P(Y=y|x)表达式如下：

 

将上面的公式合并在一起，可得到第i个样本正确预测的概率：

 

上式是对一个样本进行建模的数据表达。对于所有的样本，假设每条样本生成过程独立，在整个样本空间中（N个样本）的概率分布为：

 

将上式代入到对数损失函数中，得到最终的损失函数为：

 

2、平方损失函数

平方损失（Square loss）的标准形式如下：

 

当样本个数为n时，此时的损失函数变为：

 

Y-f(X)表示的是残差，整个式子表示的是残差的平方和，而我们的目的就是最小化这个目标函数值（注：该式子未加入正则项），也就是最小化残差的平方和（residual sum of squares，RSS）。

而在实际应用中，通常会使用均方差（MSE）作为一项衡量指标，公式如下：

3、指数损失函数

学过Adaboost算法的人都知道，它是前向分步加法算法的特例，是一个加和模型，损失函数就是指数函数。在Adaboost中，经过m此迭代之后，可以得到：

 

Adaboost每次迭代时的目的是为了找到最小化下列式子时的参数α和G：

 

而指数损失函数(exp-loss）的标准形式如下：

 

可以看出，Adaboost的目标式子就是指数损失，在给定n个样本的情况下，Adaboost的损失函数为：

4、合叶损失函数-SVM

首先我们来看什么是合页损失函数（hinge loss function）：

 

hinge loss function

 

下标”+”表示以下取正值的函数，我们用z表示中括号中的部分：

 

也就是说，数据点如果被正确分类，损失为0，如果没有被正确分类，损失为z。
合页损失函数如下图所示：

5、其他损失函数

除了以上这几种损失函数，常用的还有：
0-1损失函数：

绝对值损失函数：

6、各算法的损失函数整理（部分无正则项，不定期更新中）

线性回归

逻辑回归

决策树

SVM

AdaBoost