有监督学习的损失函数特点

损失函数：

目录

0-1损失函数

Hinge(合页损失函数)

Logistic损失函数

交叉熵损失函数

平方损失函数

Huber损失函数

损失函数：刻画模型和训练样本的匹配程度，评价预测值和真实值不一样的程度，损失函数越小，模型越好。

• 0-1损失函数

特点：

优点：能够直观刻画分类的错误率

缺点：非凸、非光滑，很难直接对该函数进行优化

应用：感知机

• Hinge(合页损失函数)

 特点：

合页损失函数是0-1损失损失函数的凸上界，如果分类正确，损失为0，否则损失为1-yf(x)

优点：健壮性相对较高，对异常点、噪声不敏感

缺点：在yf(x)=1处不可导，不能使用梯度下降法进行优化，而是用次梯度下降

应用：SVM

• Logistic损失函数

 特点：

也是0-1损失函数的凸上界，该函数处处光滑，可以使用梯度下降进行优化，但对所有样本点都有所惩罚，因此对异常值敏感。

应用：AdaBoost

• 交叉熵损失函数

 y表示实际的标签，p表示正类的概率，n为样本个数

特点:

本质上是一种对数似然函数，可用于二分类和多分类任务中。二分类如上形式，多分类为使用sigmoid作为激活函数时，常用交叉熵而不用均方误差损失函数，可以解决平方损失函数权重更新过慢的问题，具有"误差大，权重更新快，误差小，权重更新慢"特点。

， 

• 平方损失函数

特点：光滑函数，能够利用梯度下降进行优化，但预测距离真实值较远时，平方损失的惩罚力度越大，对异常点敏感，可以采用绝对损失函数，但在f(x)=Y处无法求导

• Huber损失函数

Huber函数在|f-y|较小时为平方损失，较大时为线性损失，处处可导，且对异常点鲁棒。

 参考：常见的损失函数(loss function)总结

           《百面机器学习》