（转载）常见的损失函数

1. 损失函数

损失函数（Loss function）是用来估量你模型的预测值 f(x)” role=”presentation” style=”position: relative;”>f(x)f(x) 来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示：

θ∗=arg⁡minθ1N∑i=1NL(yi,f(xi;θ))+λ Φ(θ)” role=”presentation” style=”text-align: center; position: relative;”>θ∗=argminθ1N∑i=1NL(yi,f(xi;θ))+λ Φ(θ)θ∗=arg⁡minθ1N∑i=1NL(yi,f(xi;θ))+λ Φ(θ)

\theta^* = \arg \min_\theta \frac{1}{N}{}\sum_{i=1}^{N} L(y_i, f(x_i; \theta)) + \lambda\ \Phi(\theta)
其中，前面的均值函数表示的是经验风险函数， L” role=”presentation” style=”position: relative;”>LL值。

2. 常用损失函数

常见的损失误差有五种：
1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中；
2. 互熵损失 （Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中；
3. 平方损失（Square Loss）：主要是最小二乘法（OLS）中；
4. 指数损失（Exponential Loss） ：主要用于Adaboost 集成学习算法中；
5. 其他损失（如0-1损失，绝对值损失）

2.1 Hinge loss

Hinge loss 的叫法来源于其损失函数的图形，为一个折线，通用的函数表达式为：

L(mi)=max(0,1−mi(w))” role=”presentation” style=”text-align: center; position: relative;”>L(mi)=max(0,1−mi(w))L(mi)=max(0,1−mi(w))

L(m_i) = max(0,1-m_i(w))
表示如果被正确分类，损失是0，否则损失就是 1−mi(w)” role=”presentation” style=”position: relative;”>1−mi(w)1−mi(w) 。

在机器学习中，Hing 可以用来解 间距最大化 的问题，最有代表性的就是SVM 问题，最初的SVM 优化函数如下：

argminw,ζ12||w||2+C∑iζist.∀yiwTxi≥1−ζiζi≥0” role=”presentation” style=”position: relative;”>argminw,ζ12||w||2+C∑iζist.∀yiwTxi≥1−ζiζi≥0argminw,ζ12||w||2+C∑iζist.∀yiwTxi≥1−ζiζi≥0

\underset{w,\zeta}{argmin} \frac{1}{2}||w||^2+ C\sum_i \zeta_i \\ st.\quad \forall y_iw^Tx_i \geq 1- \zeta_i \\ \zeta_i \geq 0
将约束项进行变形，则为：

ζi≥1−yiwTxi” role=”presentation” style=”text-align: center; position: relative;”>ζi≥1−yiwTxiζi≥1−yiwTxi

\zeta_i \geq 1-y_iw^Tx_i
则损失函数可以进一步写为：