lasso 的理论证明-拉格朗日形式lasso的估计误差界

拉格朗日形式 lasso $l_2$ 误差界的证明

浏览本文需要预先查看： lasso 的理论证明-约束lasso的估计误差界.

lasso相关证明：

• 约束lasso的估计误差界证明.

• 拉格朗日lasso的估计误差界证明.

• 预测误差界的证明.

接下来将对拉格朗日形式的lasso的估计误差界以及lasso误差的锥形约束进行说明。

定理2：对拉格朗日形式的lasso，假设 $\lambda \ge 2\Vert X^{T}w{\Vert }_{\infty }/N$, 其最优解 $\hat{\beta }$ 满足：
$${\Vert \hat{\beta }-{\beta }^{\ast }\Vert }_2\le \frac{3}{\gamma }\sqrt{\frac{k}{N}}\sqrt{N}\lambda .$$

证明：该证明较定理1的证明复杂，但并不困难，我们首先想到的是通过构造一个类似定理1证明的基本不等式，进而证明。

• 基本不等式的构造

如下：

$v=\hat{\beta }-{\beta }^{\ast }$, 构造函数：
$$G(v)=$$