高维统计学习笔记1——LASSO和Oracle性质

高维统计学习笔记1——LASSO和Oracle性质

主要参考资料：Sara Van De Geer《Estimation and Testing Under Sparsity》

前言

当年Tibshirani提出LASSO的时候，未曾想到LASSO竟然成为了高维统计中一个非常重要的工具，这其中当然有一部分要归功于苏黎世联邦理工大学的美女教授Sara van de geer对LASSO理论的贡献。废话少说，开始学习。

1.高维统计的重要工具——极小化正则风险

当数据特征的数量$p$远大于我们所观测的样本量$n$时，我们称数据是高维的，如果把总体的特征看作参数$\beta$，对参数进行估计和检验的一个有效方法是极小化正则风险。

Notation

损失函数 $R:\mathcal{B}\to R,\mathcal{B}\subset {\mathbb{R}}^p$.
目标参数 ${\beta }^0=\arg {\min }_{\beta \in \mathcal{B}}R(\beta )$.
经验损失函数 $R_n:\mathcal{B}\to R$, based on n data points $X_1,X_2,...,X_n$ with $n<p$
惩罚 $pen:\mathcal{B}\to [0,+\infty )$,实际上它是一个给定稀疏性后的惩罚，它对应着${\mathbb{R}}^p$上的一个范数。

如何估计参数$\beta$呢？我们考虑的极小化正则风险：
β ^ : = arg ⁡ min ⁡ β ∈ B { R n ( β ) + p e n ( β ) } \hat{\beta}:=\arg\min_{\beta\in\mathcal{B}}\{R_n(\beta)+pen(\beta)\} β^​:=argβ∈Bmin​{Rn​(β)+pen(β)}Van de geer 这本书的目的就正是研究这个估计，希望能有在很高的概率下有下面这个不等式：$$R(\hat{\beta })\le R({\beta }_0)+Remainder，$$ $Remainder$是一个很小的数，它取决于${\beta }_0$有多稀疏。

而她实际展示的结果是下面这个更一般的不等式：$$R(\hat{\beta })\le R(\beta )+Remainder(\beta )，\forall \beta .$$这里$Remainder(\beta )$取决于$\beta$的非零项的数目，其实这就是一个sharp oracle inequality，而一个non-sharp oracle inequality有下面的形式:$$R(\hat{\beta })\le R({\beta }_0)+(1+\eta )(R(\beta )-R({\beta }_0))+Remainder(\beta ),\forall \beta .$$ 这里$\eta >0$是某个很小的正常数。

2.线性模型和LASSO

Notation

$$||.|{|}_n^2=||.|{|}_2^2/n,$$ β S , j = β j 1 { j ∈ S } , \beta_{S,j}=\beta_j1\{j\in S\}, βS,j​=βj​1{j∈S},$${\beta }_S=({\beta }_{S,1},...,{\beta }_{S,p}{)}^T,$$$${\beta }_{-S}={\beta }_{S^c}.$$
我们考虑模型$$Y=f^0+ϵ.$$这里$ϵ$是一个期望为0的干扰，$Y\in {\mathbb{R}}^n$。假设$f^0=X{\beta }^0$，那么这就是一个线性模型。假设${ϵ}_i$之间不相关且方差为${\sigma }^2$，$X_{n\times p}$是一个非随机的设计阵，这时我们注意到 $$E||Y_{new}-X\hat{\beta }|{|}_n^2=E||X{\beta }_0-X\hat{\beta }|{|}_n^2+{\sigma }^2.$$
显然，我们希望$||X{\beta }_0-X\hat{\beta }|{|}_n^2=o_p(1)$。

如果$n>p$，最小二乘估计${\hat{\beta }}^{LS}$是对参数$\beta$的一个合理的估计，我们很容易得到$$E||X{\beta }_0-X{\hat{\beta }}^{LS}|{|}_n^2=\frac{p}{n}{\sigma }^2,$$当$p\gg n$且$X$行满秩时，有
$$E||X{\beta }_0-X{\hat{\beta }}^{LS}|{|}_n^2=\frac{n}{n}{\sigma }^2={\sigma }^2≠o(1).$$
因此在高维条件下最小二乘估计是不合适的。LASSO一个很好的性质是它能够产生稀疏的估计，这源于$L_1$约束的几何形状，这点想必大家都清楚，就不多说了。LASSO估计的定义是： β ^ = arg ⁡ min ⁡ β ∈ B { ∣ ∣ Y − X β ∣ ∣ n 2 + 2 λ ∣ ∣ β ∣ ∣ 1 } . \hat{\beta}=\arg\min_{\beta\in\mathcal{B}}\{||Y-X\beta||_n^2+2\lambda||\beta||_1\}. β^​=argβ∈Bmin​{∣∣Y−Xβ∣∣n2​+2λ∣∣β∣∣1​}.同样，我们去计算一下$||X{\beta }_0-X\hat{\beta }|{|}_n^2$，我们希望它在高维的情况下依概率收敛到0，并且想知道速度有多快。

首先，由LASSO的定义显然有
$$||Y-X\hat{\beta }|{|}_n^2+2\lambda |\widehat{|\beta }|{|}_1\le ||Y-X\beta |{|}_n^2+2\lambda ||\beta |{|}_1,\forall \beta$$做一点简单的计算可得$$||X{\beta }^0-X\hat{\beta }|{|}_n^2\le ||X{\beta }^0-X\beta |{|}_n^2+\frac{2{ϵ}^{T}X(\hat{\beta }-\beta )}{n}+2\lambda (||\beta |{|}_1-||\hat{\beta }|{|}_1),$$为了去bound左边这个prediction error，我们需要bound后面三项，第一项暂且不用去管它，对第二项有
$$\frac{2{ϵ}^{T}X(\hat{\beta }-\beta )}{n}\le 2||\frac{{ϵ}^{T}X}{n}|{|}_{\infty }||\hat{\beta }-\beta |{|}_1,$$我们不妨令集合
F = { w : 2 ∣ ∣ ϵ ( w ) T X n ∣ ∣ ∞ &lt; 2 λ 0 } , \mathcal{F}=\{w:2||\frac{\epsilon(w)^TX}{n}||_{\infty}&lt;2\lambda_0\}, F={w:2∣∣nϵ(w)TX​∣∣∞​<2λ0​},如果$ϵ\sim {\mathcal{N}}_n(0,{\sigma }^{2}I)$，而且我们的数据阵经过了标准化,i.e.,$||X^{(j)}|{|}_n^2=1$，则${ϵ}^T{X}^{(j)}/n\sim \mathcal{N}(0,\frac{{\sigma }^2}{n})$，这时$$\mathbb{P}[{\mathcal{F}}^c]\le \sum _{j=1}^p\mathbb{P}[|\frac{{ϵ}^T{X}^{(j)}}{n}|\ge {\lambda }_0]\le p{e}^{-\frac{n{\lambda }_0^2}{2{\sigma }^2}}=e^{\ln (p)-\frac{n{\lambda }_0^2}{2{\sigma }^2}}.$$令${\lambda }_0=\sigma \sqrt{\frac{2\log p+t^2}{n}}$，则有$\mathbb{P}[\mathcal{F}]\ge 1-e^{-t^2/2}$，也就是说如果${\lambda }_0\asymp \sqrt{\frac{\log (p)}{n}}$，那么$\mathbb{P}[\mathcal{F}]\approx 1,$即$||\frac{ϵ(w{)}^{T}X}{n}|{|}_{\infty }=O_p(\sqrt{\frac{\log (p)}{n}}).$
所以在集合$\mathcal{F}$上，
$$||X{\beta }^0-X\hat{\beta }|{|}_n^2\le ||X{\beta }^0-X\beta |{|}_n^2+2{\lambda }_0||\hat{\beta }-\beta |{|}_1+2\lambda (||\beta |{|}_1-||\hat{\beta }|{|}_1),$$$$(1)$$令$\beta ={\beta }^0$，则有
$$0.5||X{\beta }^0-X\hat{\beta }|{|}_n^2+(\lambda -{\lambda }_0)||\hat{\beta }|{|}_1\le (\lambda +{\lambda }_0)||{\beta }^0|{|}_1,\text{\hspace{1em}(2)}$$如果取${\lambda }_0\le 0.5\lambda$，则，
$$||X{\beta }^0-X\hat{\beta }|{|}_n^2+\lambda ||\hat{\beta }|{|}_1\le 3\lambda ||{\beta }^0|{|}_1.\text{\hspace{1em}(3)}$$所以我们关心的为问题变成了$||{\beta }^0|{|}_1$到底有多大。这时，我们需要在$||{\beta }^0|{|}_1$和${{\beta }^0}^T\hat{\Sigma }{\beta }^0$之间建立起联系，记$\hat{\Sigma }=X^{T}X/n$。Sara van de geer(2007) 那篇文章里提出了Compatibility constant，它的定义是，对一个常数$L\ge 1$和指标集$S$,

ϕ ^ 2 ( L , S ) : = min ⁡ { ∣ S ∣ ∣ ∣ X β S − X β − S ∣ ∣ n 2 : ∣ ∣ β S ∣ ∣ 1 = 1 , ∣ ∣ β − S ∣ ∣ 1 ≤ L } , \hat{\phi}^2(L,S):=\min\{|S|||X\beta_S-X\beta_{-S}||_n^2:||\beta_S||_1=1,||\beta_{-S}||_1\leq L\}, ϕ^​2(L,S):=min{∣S∣∣∣XβS​−Xβ−S​∣∣n2​:∣∣βS​∣∣1​=1,∣∣β−S​∣∣1​≤L}, $L$一般被称作“拉伸因子”，直观上看，C-constant其实就是一个凸包到另一个拉伸后的凸包的距离。对任意${\beta }^{\ast }$，取 S ∗ = { j : β j ∗ = ̸ 0 } , δ ∗ = β ∗ ∣ ∣ β ∗ ∣ ∣ 1 S^*=\{j:\beta^*_j=\not0\},\delta^*=\frac{\beta^*}{||\beta^*||_1} S∗={j:βj∗​≠​0},δ∗=∣∣β∗∣∣1​β∗​，那么显然有$$||{\beta }^{\ast }|{|}_1^2\le \frac{|S^{\ast }|||X{\beta }^{\ast }|{|}_n^2}{{\hat{\varphi }}^2(1,S^{\ast })}.$$当然，这个$S^{\ast }$通常是不知道的，如果考虑的是任意集合$S$，显然我们需要再添加一个条件$||{\beta }_{-S}^{\ast }|{|}_1\le 3||{\beta }_S^{\ast }|{|}_1$(这里的3我给的相当随意)，这样只需要令${\delta }^{\ast }=\frac{{\beta }^{\ast }}{||{\beta }_S^{\ast }|{|}_1}$，就有$$||{\beta }_S^{\ast }|{|}_1^2\le \frac{|S|||X{\beta }_S^{\ast }-X{\beta }_{-S}^{\ast }|{|}_n^2}{{\hat{\varphi }}^2(3,S)}.$$有了C-Constant的概念，我们取 S 0 = { j : β j 0 = ̸ 0 } S^0=\{j:\beta^0_j=\not0\} S0={j:βj0​≠​0}，对(1)做一点简单的变换，在$\lambda >2{\lambda }_0$的条件下可得，$$||X{\beta }^0-X\hat{\beta }|{|}_n^2+\lambda ||{\hat{\beta }}_{-S^0}|{|}_1\le 3\lambda ||{\hat{\beta }}_{S^0}-{\beta }_{S^0}^0|{|}_1,\text{\hspace{1em}(4)}$$取$\delta =\frac{\hat{\beta }-{\beta }^0}{||{\hat{\beta }}_{S^0}-{\beta }_{S^0}^0|{|}_1}$，可以得到$$||{\hat{\beta }}_{S^0}-{\beta }_{S^0}^0|{|}_1^2\le \frac{|S^0|||X{\beta }^0-X\hat{\beta }|{|}_n^2}{{\hat{\varphi }}^2(3,S^0)}.$$由基本不等式，
$$4\lambda ||{\hat{\beta }}_{S^0}-{\beta }_{S^0}^0|{|}_1\le \frac{8{\lambda }^2|S^0|}{{\hat{\varphi }}^2(3,S^0)}+0.5||X{\beta }^0-X\hat{\beta }|{|}_n^2,\text{\hspace{1em}(5)}$$结合(4),(5)，我们显然有
$$||X{\beta }^0-X\hat{\beta }|{|}_n^2+2\lambda ||\hat{\beta }-{\beta }^0|{|}_1\le \frac{16{\lambda }^2|S^0|}{{\hat{\varphi }}^2(3,S^0)}.\text{\hspace{1em}(6)}$$
这就是所谓的oracle不等式，注意到如果C-Constant远离0，且$\lambda \asymp \sqrt{\frac{\log p}{n}}$我们有$||X{\beta }^0-X\hat{\beta }|{|}_n^2=O_p(\frac{|S^0|\log p}{n}).$

我这里只是给出了对Oracle的一个直观感受，而书中用了一些特别的技巧，也给出了一个更加严格而且一般的定理：

定理2.2(Oracle)

假设$||X^Tϵ/n|{|}_{\infty }\le {\lambda }^0,0\le \delta <1$且$\lambda >{\lambda }_0$，令${\lambda }_{-}=\lambda -{\lambda }_0,{\lambda }^{-}=\lambda +{\lambda }_0+\delta {\lambda }_{-},L=\frac{{\lambda }^{-}}{(1-\delta ){\lambda }_{-}},$那么我们有
$$2\delta {\lambda }_{-}||\hat{\beta }-\beta |{|}_1+||X{\beta }^0-X\hat{\beta }|{|}_n^2$$ ≤ min ⁡ β ∈ R p min ⁡ S ⊂ { 1 , . . . , p } { 2 δ λ − ∣ ∣ β − β 0 ∣ ∣ 1 + ∣ ∣ X β 0 − X β ∣ ∣ n 2 \leq\min_{\beta\in\mathbb{R}^p}\min_{S\subset\{1,...,p\}}\{2\delta\lambda_-||\beta-\beta^0||_1+||X\beta^0 -X\beta||_n^2 ≤β∈Rpmin​S⊂{1,...,p}min​{2δλ−​∣∣β−β0∣∣1​+∣∣Xβ0−Xβ∣∣n2​$$+\frac{{{\lambda }^{-}}^2|S|}{{\hat{\varphi }}^2(L,S)}+4\lambda ||{\beta }_{-S}|{|}_1\}.$$如果$({\beta }^{\ast },S^{\ast })$是不等式右边的一个最小元，那么我们就称$({\beta }^{\ast },S^{\ast })$是一个Oracle。显然，取$\beta ={\beta }^0$，可以得到我们之前得出的上面那个结果。

参考资料

[1] Sara van de geer, Estimation and Testing Under Sparsity, 2016