损失、风险函数与正则化

1 损失函数

1.1 损失函数是啥？

在监督学习问题中：

• 给定的输入变量记为$\mathbf{X}$；
• 函数$f(\mathbf{X})$输出值记为预测值；
• 数据真实变量为$\mathbf{Y}$。

那么，损失函数是用于度量预测错误的程度，即$\mathbf{Y}$与$f(\mathbf{X})$不一致的程度。该函数记为：$L(\mathbf{Y},f(\mathbf{X}))$。

1.2 机器学习中常用的损失函数

1.3 期望风险

损失函数越小，说明$f(\mathbf{X})$越好，对于数据$(\mathbf{X},\mathbf{Y})$来说，其联合分布为$P(\mathbf{X},\mathbf{Y})$。损失函数$f(\mathbf{X})$的期望$R_{exp}(f)$是：
$$\begin{array}{rl}{R}_{exp}(f)=& E_P[L(\mathbf{Y},f(\mathbf{X}))]\\ =& {\int }_{X,Y}L(\mathbf{Y},f(\mathbf{X}))P(\mathbf{Y},f(\mathbf{X}))dxdy\end{array}\text{\hspace{1em}(1.1)}$$
称$R_{exp}(f)$为风险函数或期望损失。

在风险函数中，有$\mathbf{X},\mathbf{Y}$构成了联合分布，才能更好的学习$f$，但是，由于只知道一部分样本的$P(\mathbf{X},\mathbf{Y})$，所以，在这个已知数据集上计算出来的平均损失称为经验风险，记为$R_{emp}$：
$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f({\mathbf{x}}_{\mathbf{i}}))\text{\hspace{1em}(1.2)}$$

---

2 正则化

一般来说，我们的目的是为了让经验风险足够小，但是在训练集上可能出现了过拟合的情况，如右图所示：

正则化就是为了让模型变的简单，也就是尽可能的让${\theta }_3,{\theta }_4$尽可能的小。

总的来说，面对大量参数的时候，我们不知道应该惩罚哪些参数的权重，因此，通常从第1项开始（忽略第0项），有如下形式：
$$\underset{f\in F}{\min }\frac{1}{N}\sum _{i=1}^{N}L(y_i,f({\mathbf{x}}_{\mathbf{i}}))+\lambda J(f)$$
其中$\lambda$为惩罚系数，$J(f)$代表常用的范数。
$$J(f)=||\mathbf{w}||=(\sum _i|w_i{|}^p{)}^{1/p}$$

2.1 L1 范数

$$J(f)=||\mathbf{w}||=(\sum _i|w_i|)$$
L1范数为向量中所有值的绝对值之和，使用L1范数作为正则函数时，优化的目标函数变为：
$$\underset{f\in F}{\min }\frac{1}{N}\sum _{i=1}^{N}L(y_i,f({\mathbf{x}}_{\mathbf{i}}))+\lambda ||\mathbf{w}|{|}_1$$
在上式中，假如$L(y_i,f({\mathbf{x}}_{\mathbf{i}}))$是一个二次函数，那么目标函数的等值线是一个椭圆或圆；而约束条件为L1范数，其等值线为一个菱形。目标函数的等值线与约束边界的图像如下图所示

可以看到，在约束条件下的最优解，总是处于约束条件的角上，而约束条件的角上必定会出现一个或多个$w_i$的情况，这就导致了解稀疏性，在更高维的情况下也是如此。

以L1范数为正则项可以用来筛选特征，得出的非零$w_i$所对应的特征是关联特征，若$w_j=0$，说明第$j$个特征肯定是弱特征。

2.2 L2 范数

2.2.1 定义

$$J(f)=||\mathbf{w}||=(\sum _i{w}_i^2{)}^{1/2}$$
使用L2范数的条件下，目标函数变为：
$$\underset{f\in F}{\min }\frac{1}{N}\sum _{i=1}^{N}L(y_i,f({\mathbf{x}}_{\mathbf{i}}))+\lambda ||\mathbf{w}|{|}_2$$

2.2.2 L2 的来源

假设数据中出现了误差，那么有：

$$\begin{array}{rl}\mathbf{A}(\mathbf{x}+\mathbf{\Delta }\mathbf{x})=& \mathbf{b}+\mathbf{\Delta }\mathbf{b}\\ \mathbf{A}\mathbf{x}+\mathbf{A}\mathbf{\Delta }\mathbf{x}=& \mathbf{b}+\mathbf{\Delta }\mathbf{b}\\ \mathbf{A}\mathbf{\Delta }\mathbf{x}=& \mathbf{\Delta }\mathbf{b}\end{array}$$
因为有：
$$||{\mathbf{x}}_1\ast {\mathbf{x}}_2||\le ||{\mathbf{x}}_1||\ast ||{\mathbf{x}}_2||$$
所以：
$$\begin{gathered} ||\mathbf{\Delta }\mathbf{x}||\le ||{\mathbf{A}}^{-1}||\ast ||\mathbf{\Delta }\mathbf{b}|| \\ ||\mathbf{x}||\ge \frac{||\mathbf{b}||}{||\mathbf{A}||} \end{gathered}$$
所以：
$$\begin{array}{r}\frac{||\mathbf{\Delta }\mathbf{x}||}{||\mathbf{x}+\mathbf{\Delta }\mathbf{x}||}\le \frac{||\mathbf{\Delta }\mathbf{x}||}{||\mathbf{x}||}\le \frac{||\mathbf{\Delta }\mathbf{b}||}{||\mathbf{b}||}\ast ||{\mathbf{A}}^{-1}||\ast ||\mathbf{A}||\end{array}$$
所以
$$K(\mathbf{A})=||\mathbf{A}||\ast ||{\mathbf{A}}^{-1}||$$
表示了解关于方程系数的敏感度，也侧面体现了矩阵中列向量之间的线性相关强度。

---

3. 参考文献

• Regularization