lasso 的理论证明-lasso 预测误差界的证明

lasso 的理论证明

在证明估计误差界后，我们将对预测误差界进行证明，这也是lasso理论性质的最后一个点，相关证明链接：

• 约束lasso的估计误差界证明.

• 拉格朗日lasso的估计误差界证明.

• 预测误差界的证明.

lasso 预测误差界的证明

这里，我们对拉格朗日形式lasso的预测误差界 $\Vert Xv{\Vert }^2$ 进行证明。

定理1：假设 $\lambda \ge 2\Vert X^{T}w{\Vert }_{\infty }/N$, 其最优解 $\hat{\beta }$，如果 $\Vert {\beta }^{\ast }{\Vert }_1\le R$，则
$${\Vert X\hat{\beta }-X{\beta }^{\ast }\Vert }^2\le 12RN\lambda .$$

证明：由基础不等式，可以看到预测误差界与 $\Vert v{\Vert }_1$ 有关，因此我们仅需建立 $\Vert v{\Vert }_1$ 与某个数之间的大小关系。

回到基本不等式:
0 ≤ λ ∥ β ∗ ∥ 1 − λ ∥ β ∗ + v ∥ 1 + 1 N ∥ X T w ∥ ∞ ∥ v ∥ 1 ≤ （ 1 N ∥ X T w ∥ ∞ − λ ) ∥ v ∥ 1 + 2 λ ∥ β ∗ ∥ 1 ≤ λ 2 ( − ∥ v ∥ 1 + 4 ∥ β ∗ ∥ 1 ) . 0 \leq \lambda\|\beta^{*}\|_1-\lambda\|{\beta^{*}+v}\|_1+\frac{1}{N}\left\|{X}^{T} {w}\right\|_{\infty}\|v\|_{1} \\ \leq （\frac{1}{N}\left\|{X}^{T} {w}\right\|_{\infty}-\lambda)\|v\|_{1}+2\lambda\|\beta^{*}\|_1 \\ \leq \frac{\lambda}{2}(-\|v\|_{1}+4\|\beta^{*}\|_1).