机器学习的损失函数

机器学习三方面

机器学习问题，大致包含这是哪个方面：

• 模型：建立什么样的模型
• 目标：怎么定义最大化或最小化的目标函数
• 算法：怎么求解最大或最小化目标函数的优化问题

举个例子：

• 逻辑回归。模型是$y=\theta(wx)$；通过最大似然（MLE）构造目标函数；通过SGD求解目标函数。
• 线性回归。模型是$y=wx$；通过最小二乘构建目标函数；通过求解最小二乘得到优化问题的闭解。

机器学习的目的，就是在确定好模型（假设集）的前提下，构建目标函数构建优化问题，然后通过优化算法求解模型的最优参数，通常可以表达成如下式子：

$$\theta = \arg\min_{\theta} \frac{1}{N} \sum_{i=1}^N L(y_i, f(x_i, \theta)) + \lambda \phi(\theta)$$

式子左边表示经验风险函数，损失函数是其核心部分；式子右边是正则项。式子整体是结构风险函数，其由经验风险函数和正则项组成。

损失函数

交叉熵（逻辑回归）

逻辑回归的经验风险函数如下：

$$E_{in} = \frac{1}{N} \sum_{i=1}^N \log(1+\exp(-y_n w^T x_n))$$

其损失函数叫做交叉熵：

$$L(y_n, x_n, w) = \log(1+\exp(-y_n w^T x_n)$$

其函数图像如下（横坐标轴代表$ys$，即$yw^Tx$）：

平方损失函数（最小二乘）

最小二乘的经验风险函数如下：

$$E_{in} = \frac{1}{N} \sum_{i=1}^N (y_n-w^T x_n)^2$$

其损失函数为平方损失函数：

$$L(y_n, x_n, w) =(y_n-w^T x_n)^2$$

其函数图像如下（横坐标轴代表$ys$，即$yw^Tx$）：

Hinge损失函数（SVM）

软间隔的SVM有如下表示：

$$\begin{split} &\min _{b,w,\xi}\frac{1}{2} w^Tw + C\sum_{n=1}^N \xi_n \\ s.t. &y_n(w^Tx_n +b) \ge 1-\xi_n,\xi_n \ge 0 \end{split}$$

将约束条件放到最小化的式子中得到软间隔SVM的结构风险函数：

$$\min _{b,w,\xi}\frac{1}{2} w^Tw + C\sum_{n=1}^N \max(0,1-y_n(w^Tx_n +b))$$

软间隔SVM的损失函数为Hinge损失函数：

$$L(y_n, x_n, w,b) = \max(0,1-y_n(w^Tx_n +b))$$

其图像为：

指数损失函数（AdaBoost）

在AdaBoost中，数据权重的更新方式为：

$$\begin{split} u_n^{(t+1)} &= u_n^{(t)} \Diamond^{-y_n g_t(x_n)} \\ u_n^{(t+1)} &= u_n^{(t)} \exp(-y_n \alpha_t g_t(x_n)) \\ u_n^{(T+1)} &= \frac{1}{N} \exp(-y_n \sum_{t=1}^T\alpha_t g_t(x_n)) \\ \sum_{n=1}^N u_n^{(T+1)} &= \frac{1}{N} \sum_{n=1}^N \exp(-y_n \sum_{t=1}^T\alpha_t g_t(x_n)) \end{split}$$

AdaBoost的训练的目标就是减少$\sum_{n=1}^N u_n^{(T+1)}$，因此其风险函数为：

$$\frac{1}{N} \sum_{n=1}^N \exp(-y_n \sum_{t=1}^T\alpha_t g_t(x_n))$$

其损失函数为：

$$L(y_n, x_n, \alpha, g) =\exp(-y_n \sum_{t=1}^T\alpha_t g_t(x_n))$$

其损失函数的图像为：

对比与总结

• 01 loss是最本质的分类损失函数，但是这个函数不易求导，在模型的训练不常用，通常用于模型的评价。
• squared loss方便求导，缺点是当分类正确的时候随着$ys$的增大损失函数也增大。
• cross entropy方便求导，逼近01 loss。
• Hinge Loss当$ys \ge 1$，损失为0，对应分类正确的情况；当$ys <1$时，损失与$ys$成正比，对应分类不正确的情况（软间隔中的松弛变量）。
• exponential loss方便求导，逼近01 loss。
• squared loss， cross entropy，exponential loss以及hinge loss的左侧都是凸函数，方便求导有利于优化问题的求解；同时这些loss函数都是01 error的上界，可以通过减少loss来实现01问题的求解，即求解分类问题。