机器学习之损失函数（代价函数）

一、分类算法中的损失函数

在分类算法中,损失函数通常可以表示成损失项和正则项的和，即如下的形式：

$$J(\textbf{w})=\sum_iL(m_i(\textbf{w}))+\lambda R(\textbf{w})$$
其中， $L(m_i(\textbf{w}))$为损失项， $R(\textbf{w})$为正则项。 $m_i$的具体形式如下：
$$m_i=y^{(i)}f_\textbf{w}(\textbf{x}^{(i)})\\ y^{(i)}\in\{-1, 1\}\\ f_{\textbf{w}}(\textbf{x}^{(i)})=\textbf{w}^T\textbf{x}^{(i)}$$
对于损失项，主要形式如下：

• 0-1损失
• Log损失
• Hingo损失
• 指数损失
• 感知损失

1、0-1损失函数

在分类问题中，可以使用函数的正负号来进行模式判断，函数本身大小并不是很重要，0-1损失函数比较的是预测值$f_{\textbf{w}}(\textbf{x}^{(i)})$
与真实值$y^{(i)}$的符号是否相同，0-1损失的具体形式如下：

$$L_{01}(m)=\begin{cases} 0 \quad\text{if } m\ge 0\\ 1\quad \text{if } m < 0\end{cases}$$
等价于函数： $\frac{1}{2}(1-sign(m))$。0-1损失并不依赖m值的大小，只取决于m的正负号。0-1损失是一个非凸函数，求解过程中存在很多不足，通常实际使用中将0-1损失函数作为一个标准，选择0-1损失函数的代理函数作为损失函数。

2、Log损失函数

2. 1 Log损失

Log损失是0-1损失函数的一种代理函数，Log损失的具体形式如下：

$$\log(1+\exp(-m))$$
运用Log损失的经典分类器是Logistic回归算法。

2. 2 Logistic回归算法的损失函数

对于Logistic回归算法，分类器可以表示成：

$$p(y|\textbf{x};\textbf{w})=\sigma(\textbf{w}^T\textbf{x})^y(1-\sigma(\textbf{w}^T\textbf{x}))^{(1-y)}$$
其中 $y\in\{0,1\}, \sigma(x)=\frac{1}{1+\exp(-x)}$。为了求解其中的参数 $\textbf{w}$，通常使用极大似然估计的方法，具体过程如下：
1、似然函数
$$L(\textbf{w})=\prod^n_{i=1}\sigma(\textbf{w}^T\textbf{x}^{(i)})^{y^{(i)}}(1-\sigma(\textbf{w}^T\textbf{x}^{(i)})^{(1-y^{(i)})}$$
2、log似然
$$\log[L(\textbf{w})]=\sum^n_{i=1}y^{(i)}\log [\sigma(\textbf{w}^T\textbf{x}^{(i)})]+{(1-y^{(i)})}\log[(1-\sigma(\textbf{w}^T\textbf{x}^{(i)})]$$
3、需要求解的是使得log似然取得最大值的 $\textbf{w}$,可以转换成求最小值
$$-\log[L(\textbf{w})]=-\sum^n_{i=1}y^{(i)}\log [\sigma(\textbf{w}^T\textbf{x}^{(i)})]+{(1-y^{(i)})}\log[(1-\sigma(\textbf{w}^T\textbf{x}^{(i)})]$$
这便是交叉熵的具体形式。

2. 3 二者的等价

由于Log损失的具体形式为：

$$\log(1+\exp(-m))$$
其中， $m_i=y^{(i)}f_\textbf{w}(\textbf{x}^{(i)})$, $y^{(i)}\in\{-1, 1\}$。Log损失函数的具体形式为：
$$\min_{\textbf{w}}\sum^n_{i=1}\log\left\{1+\exp(-y^{(i)}\textbf{w}^T\textbf{x}^{(i)})\right\}$$
Logistic回归与Log损失具有相同的形式，两者是等价的。

3、Hinge损失函数

3.1 Hinge损失

Hinge损失是0-1损失函数的一种代理函数。具体形式如下：

$$\max(0,1-m)$$
运用Hinge损失的典型分类器是SVM算法。

3.2 SVM的损失函数

对于软间隔支持向量机，允许在间隔的计算中出现少量的误差$\bar\xi=(\xi_1,...,\xi_n)$，优化目标是：

$$\min_{\textbf{w},\gamma,\xi}\left[\frac{1}{2}\|\textbf{w}\|^2+C\sum_{i=1}^n\xi_i\right]$$
约束条件是：
$$(\textbf{w}^T\textbf{x}^{(i)}+\gamma)y^{(i)}\ge 1-\xi_i ，\quad\xi_i\ge 0$$

3.3 二者的等价

对于Hinge损失：

$$\max(0, 1-m)$$
优化的目标是要求：
$$\min_{\textbf{w}}\left[\sum^n_{i=1}\max(0, 1-f_{\textbf{w}}(\textbf{x}^{(i)})y^{(i)})\right]$$
在上诉的函数 $f_{\textbf{w}}(\textbf{x}^{(i)})$中引入截距 $\gamma$，即：
$$f_{\textbf{w},\gamma}(\textbf{x}^{(i)})=\textbf{w}^T\textbf{x}^{(i)}+\gamma$$
并在上述问题中增加 $L_2$正则，即变为：
$$\min_{\textbf{w},\gamma}\left[C\sum^n_{i=1}\max(0, 1-f_{\textbf{w}}(\textbf{x}^{(i)})y^{(i)})+\frac{1}{2}\|\textbf{w}\|^2\right]$$
我们看到SVM软间隔问题中的约束条件为：
$$\xi\ge1-(\textbf{w}^T\textbf{x}^{(i)}+\gamma)y^{(i)}=1-f_{\textbf{w}}(\textbf{x}^{(i)})y^{(i)}\\ \xi_i\ge 0$$
即： $\max(0,1-f_{\textbf{w},\gamma}(\textbf{x})y)=\min\xi$
那么Hinge最小化问题变成：
$$\min_{\textbf{w},\gamma,\xi}\left[C\sum_{i=1}^n\xi_i+\frac{1}{2}\|\textbf{w}\|^2\right]$$
这与软间隔的SVM是一致的，说明软间隔SVM是在Hinge损失的基础上增加了 $L_2$正则。

4、指数损失函数

4.1、指数损失

指数损失是0-1损失函数的一种代理函数，损失函数具体形式如下：

$$\exp(-m)$$
运用指数损失的典型分类器是AdaBoost算法。

4.2、AdaBoost基本原理

AdaBoost算法是对每一个弱分类器以及每一个样本都分配了权重，对于弱分类器$\phi_j$的权重为：

$$\theta_j=\frac{1}{2}\log\frac{1-R(\phi_j)}{R(\phi_j)}$$
其中， $R(\phi_j)$表示的是误分类率。对于每一个样本的权重为：
$$\textbf{w}_i=\frac{\exp(-f(\textbf{x}^{(i)})y^{(i)})}{\sum_n[\exp(-f(\textbf{x}^{(i)})y^{(i)})]}$$
最终通过对所有分类器加权得到最终的输出。