损失函数

损失函数

---

监督学习实际就是一个经验风险或者结构风险函数的优化问题。风险函数度量平均意义下模型预测的好坏，模型每一次预测的好坏用损失函数来度量。损失函数(loss function)又称为代价函数(cost function)，是一种用来评价模型预测值和样本真实值之间的差异程度，一般为一个非负函数。损失函数的值越小，表示预测值和真实值之间相差越小，模型的性能越好。

设样本数据表示为$(X,Y) = (x^1,x^2,\cdots,x^d,y)$，$X$表示样本数据的$d$维属性,$Y$表示样本的值。有数据集$D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\}$中共有$m$个样本，样本中$x_i$都是$d$维。模型$f(x)$对每个样本数据的输出为$\hat y$。
$\require{AMScd}$

$$\begin{CD} D\{(x_i,y_i)\}@>f(x)>>D\{(x_i,\hat y_i)\} \end{CD}$$
定义单个样本损失函数为 $\ell (y_i,\hat y_i)$，那么关于训练集的平均损失称为 经验风险：
$$R_{emp} =\frac 1m{\sum_{i =1}^m \ell (y_i,\hat y_i)}$$
而 结构风险是在经验风险的基础上加上了表示模型复杂度的正则化或者惩罚项。
$$R_{srm} =\frac 1m{\sum_{i =1}^m \ell (y_i,\hat y_i)}+\lambda J$$

关于如何选择模型，监督学习常有两种策略：经验风险最小化和结构风险最小化。

---

常见的损失$\ell$定义

0-1损失

预测值和实际值相等则为0，否则为1。

$$\begin{eqnarray}\ell(y_i,\hat{y_i})= \begin{cases} 1, &y_i \ne \hat{y_i} \cr 0, &y_i = \hat{y_i} \end{cases} \end{eqnarray}$$

感知损失

引入阈值超参数$t$，当预测值和实际值相差不超过阈值时为0，否则为1。这种损失定义在感知机算法PLA中有使用。

$$\begin{eqnarray}\ell(y_i,\hat{y_i})= \begin{cases} 1, &|y_i - \hat{y_i}| \gt t\cr 0, &|y_i - \hat{y_i}| \le t\end{cases} \end{eqnarray}$$

Hinge损失

可以用来解决间隔最大化问题，在SVM中有使用。

$$\ell(y_i,\hat{y_i})=max\{0,1-y_i \cdot \hat{y_i}\}$$

对数损失

常用在极大似然估计的过程中，因为log函数可以将连乘转换为求和，且并不会改变优化结果。在逻辑回归LR中有使用。

$$\begin{eqnarray} \ell(y_i,\hat y_i) = log\ \varphi(y_i,\hat y_i) \end{eqnarray}$$

平方误差损失

在回归中有使用。

$$\ell(y_i,\hat{y_i})=(y_i - \hat{y_i})^2$$

绝对值误差损失

在回归中有使用。

$$\ell(y_i,\hat{y_i})=|y_i - \hat{y_i}|$$

指数误差损失

在boosting算法中有使用。

$$\ell(y_i,\hat{y_i})=exp(-y_i \cdot\hat{y_i})$$