lasso 的理论证明-约束lasso的估计误差界

lasso 的理论证明

我们将陆续对lasso的oracle性质进行证明，本篇说明的是约束型lasso $l_2$ 误差界的证明。这些证明来源于对教材或论文的归纳。

lasso相关证明：

• 约束lasso的估计误差界证明.

• 拉格朗日lasso的估计误差界证明.

• 预测误差界的证明.

考虑线性回归模型：
$$y=X{\beta }^{\ast }+w.$$
对以下两种形式的lasso进行讨论

• 约束形式的lasso：
  $$y=X{\beta }^{\ast }+w,s.t.\Vert \beta {\Vert }_1\le R.$$
• 拉格朗日形式的lasso:
  $$\frac{1}{2N}\Vert y-X\beta {\Vert }^2+\lambda \Vert \beta {\Vert }_1.$$
  注：当 $R$ 与 $\lambda$ 满足一定关系时，上述两种形式等价。（证明思路是通过拉格朗日函数，利用KKT条件求解 $\beta$）

lasso $l_2$ 误差界的证明

定理1：对约束形式的lasso，其最优解 $\hat{\beta }$ 满足：
$${\Vert \hat{\beta }-{\beta }^{\ast }\Vert }_2\le \frac{4}{\gamma }\sqrt{\frac{k}{N}}{\Vert \frac{{\mathbf{X}}^T\mathbf{w}}{\sqrt{N}}\Vert }_{\infty }$$
证明：
我们将证明分成三步：

1. 建立基本不等式
由于 $\hat{\beta }$ 为最优解，因此： $$\Vert \mathbf{y}-\mathbf{X}\hat{\beta }{\Vert }_2^2\le {\Vert \mathbf{y}-\mathbf{X}{\beta }^{\ast }\Vert }_2^2$$
进一步的：
$$\Vert \mathbf{y}-\mathbf{X}\hat{\beta }{\Vert }_2^2-{\Vert \mathbf{y}-\mathbf{X}{\beta }^{\ast }\Vert }_2^2\le -2y^{T}X\hat{\beta }+{\hat{\beta }}^T{X}^{T}X\hat{\beta }+2yX{\beta }^{\ast }-{\beta }^{\ast T}{X}^{T}X{\beta }^{\ast }.$$
又：
$$\Vert \mathbf{X}\hat{\beta }-\mathbf{X}{\beta }^{\ast }{\Vert }_2^2={\hat{\beta }}^T{X}^{T}X\hat{\beta }+{\beta }^{\ast T}{X}^{T}X{\beta }^{\ast }-{\beta }^{\ast T}{X}^{T}X\hat{\beta }-{\hat{\beta }}^T{X}^{T}X{\beta }^{\ast }.$$
令 $v=\hat{\beta }-{\beta }^{\ast }$，将以上两个式子合并：
$$\Vert \mathbf{y}-\mathbf{X}\hat{\beta }{\Vert }_2^2-{\Vert \mathbf{y}-\mathbf{X}{\beta }^{\ast }\Vert }_2^2=\Vert \mathbf{X}v{\Vert }^2-2w^{T}Xv\le 0.$$
得基本不等式：
$$\frac{\Vert \mathbf{X}v{\Vert }_2^2}{2N}\le \frac{{\mathbf{w}}^T\mathbf{X}v}{N}.$$
利用H ̈older’s inequality：
$$\frac{\Vert \mathbf{X}v{\Vert }_2^2}{2N}\le \frac{1}{N}\left|{\mathbf{w}}^T\mathbf{X}v\right|\le \frac{1}{N}{\Vert {\mathbf{X}}^T\mathbf{w}\Vert }_{\infty }\Vert v{\Vert }_1$$

2. 建立 $\Vert v{\Vert }_1$ 与 $\Vert v{\Vert }_2$ 的联系
$$\Vert v{\Vert }_1={\Vert v_S\Vert }_1+{\Vert v_{S^c}\Vert }_1\le 2{\Vert v_S\Vert }_1\le 2\sqrt{k}\Vert v{\Vert }_2$$
注：最后一个不等号的证明是根据Cauchy–Schwarz inequality：
$${\Vert v_S\Vert }_1^2={\left(\sum _{i=1}^k{v}_i\right)}^2\le \left(\sum _{i=1}^n{1}^2\right)\left(\sum _{i=1}^n{v}_i^2\right)=k\Vert v{\Vert }_2^2.$$
其中， $k$ 是 ${\beta }^{\ast }$ 的支撑。

注：在lasso情况下， ${\Vert v_S\Vert }_1$ 与 ${\Vert v_{S^c}\Vert }_1$ 还有一个更为准确的关系式，这将在拉格朗日形式lasso的估计误差界的证明中说明。

3. 建立 $\Vert \mathbf{X}v{\Vert }_2^2$ 与 $\Vert v{\Vert }_2$ 的联系

这里，需用受限特征值条件，需要明白的是，为什么该条件会被建立。首先，我们需要目标函数的强凸性来保证目标函数值的误差界与估计误差界相关；但lasso的目标函数并不满足强凸性（高维），于是可放宽强凸的定义，即目标函数满足强凸性的充分条件是模型矩阵的受限特征值条件：
$$\frac{\frac{1}{N}{v}^T{\mathbf{X}}^T\mathbf{X}v}{\Vert v{\Vert }_2^2}\ge \gamma .$$
即：
$$\frac{1}{N}\Vert \mathbf{X}v{\Vert }_2^2\ge \gamma \Vert v{\Vert }_2^2.$$
将上述步骤的结果合并，整理后即得界。

参考文献： Trevor Hastie, Robert Tibshirani and Martin Wainwright: Statistical Learning with Sparsity: The Lasso and Generalizations.

下一篇：拉格朗日形式的lasso $l_2$ 误差界的证明

喜欢文章记得点赞！点赞！点赞！当然，作者水平有限，如有错误，欢迎指出！