机器学习中的损失函数 （着重比较：hinge loss vs softmax loss）

1. 损失函数

损失函数（Loss function）是用来估量你模型的预测值 $f(x)$ 与真实值 $Y$ 的不一致程度，它是一个非负实值函数，通常用 $L(Y,f(x))$ 来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示：

$$\theta^* = \arg \min_\theta \frac{1}{N}{}\sum_{i=1}^{N} L(y_i, f(x_i; \theta)) + \lambda\ \Phi(\theta)$$
其中，前面的均值函数表示的是经验风险函数， $L$代表的是损失函数，后面的 $\Phi$ 是正则化项（regularizer）或者叫惩罚项（penalty term），它可以是L1，也可以是L2，或者其他的正则函数。整个式子表示的意思是 找到使目标函数最小时的$\theta$值。

2. 常用损失函数

常见的损失误差有五种：
1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中；
2. 互熵损失 （Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中；
3. 平方损失（Square Loss）：主要是最小二乘法（OLS）中；
4. 指数损失（Exponential Loss） ：主要用于Adaboost 集成学习算法中；
5. 其他损失（如0-1损失，绝对值损失）

2.1 Hinge loss

Hinge loss 的叫法来源于其损失函数的图形，为一个折线，通用的函数表达式为：

$$L(m_i) = max(0,1-m_i(w))$$
表示如果被正确分类，损失是0，否则损失就是 $1-m_i(w)$ 。

在机器学习中，Hing 可以用来解 间距最大化 的问题，最有代表性的就是SVM 问题，最初的SVM 优化函数如下：

$$\underset{w,\zeta}{argmin} \frac{1}{2}||w||^2+ C\sum_i \zeta_i \\ st.\quad \forall y_iw^Tx_i \geq 1- \zeta_i \\ \zeta_i \geq 0$$
将约束项进行变形，则为：
$$\zeta_i \geq 1-y_iw^Tx_i$$
则损失函数可以进一步写为：

J(w)=12||w||2+C∑imax(0,1−yiwTx