高维统计学习笔记2——The Square Root Lasso

高维统计学习笔记2——The Square Root Lasso

主要参考资料：Sara van de geer 《Estimation and Testing Under Sparsity》.
学习笔记1，https://blog.csdn.net/qq_37353305/article/details/89003023

前言

本来想直奔通过LASSO进行Inference的课题，但是Square Root Lasso将会在后面用到，而且它自有存在的道理和优势，借Square Root Lasso（后面简称SR LASSO）也刚好可以对上一节所讲的Oracle性质练练手。

SR LASSO

Motivation:上一节我们讲LASSO的时候，默认$ϵ\sim {\mathcal{N}}_n(0,{\sigma }^{2}I)$，而且$\sigma$是已知的，所以我们可以选择合适的参数$\lambda$，使得在很高的概率下$||X^Tϵ/n|{|}_{\infty }<{\lambda }_0$，现在的问题是如果$\sigma$不知道的话怎么办呢？为了避免这个问题，Belloni(2011)提出了SR LASSO。

Belloni的想法是，既然我不知道$\sigma$，那么我就同时对$\sigma$进行估计：$$\left(\hat{\beta },{\hat{\sigma }}^2\right)=\arg \underset{\beta \in {\mathbb{R}}^p,{\sigma }^2>0}{\min }\left\{\frac{\Vert Y-X\beta {\Vert }_n^2}{\sigma }+\sigma +2{\lambda }_{}\Vert \beta {\Vert }_1\right\}.\text{\hspace{1em}(1)}$$右边那一项对$\sigma$求导等于0可以得到$${\hat{\sigma }}^2=||Y-X\hat{\beta }|{|}_n^2=||\widehat{ϵ}|{|}_n^2,$$将它代入(1)立即得到SR LASSO的形式
β ^ : = arg ⁡ min ⁡ β ∈ R p { ∥ Y − X β ∥ n + λ ∥ β ∥ 1 } . \hat{\beta} :=\arg \min _{\beta \in \mathbb{R}^{p}}\left\{\|Y-X \beta\|_{n}+\lambda_{}\|\beta\|_{1}\right\}. β^​:=argβ∈Rpmin​{∥Y−Xβ∥n​+λ​∥β∥1​}.现在我们用同样的方法来研究它的Oracle性质，由KKT条件，
$$\frac{X^T(Y-X\hat{\beta })/n}{\Vert Y-X\hat{\beta }{\Vert }_n}={\lambda }_{}\hat{z}，$$
这里${\hat{z}}^T\hat{\beta }=||\hat{\beta }|{|}_1,||\hat{z}|{|}_{\infty }\le 1$。在左右两边同时乘上$(\beta -\hat{\beta })$，在通过一点简单的运算有
$$||X({\beta }_0-\hat{\beta })|{|}_n^2\le ||X(\beta -{\beta }_0)|{|}_n^2+\frac{(\hat{\beta }-\beta {)}^T{X}^Tϵ}{n}+\lambda ||\widehat{ϵ}|{|}_n(||\beta |{|}_1-||\hat{\beta }|{|}_1),$$右边后两项我们可以写成下面这个样子，
$$||ϵ|{|}_n(\frac{(\hat{\beta }-\beta {)}^T{X}^Tϵ}{n||ϵ|{|}_n}+\lambda \frac{||\widehat{ϵ}|{|}_n}{||ϵ|{|}_n}(||\beta |{|}_1-||\hat{\beta }|{|}_1))$$这样我们去bound$||\frac{X^Tϵ}{n||ϵ|{|}_n}|{|}_{\infty }$时，注意到$\frac{ϵ}{n||ϵ|{|}_n}\sim {\mathcal{N}}_n(0,I)$，方差上没有$\sigma$这一项，也就达到了我们的目的。按照上一节的步骤，构造 F = { ∣ ∣ X T ϵ n ∣ ∣ ϵ ∣ ∣ n ∣ ∣ ∞ ≤ λ 0 } \mathcal{F}=\{||\frac{X^T\epsilon}{n||\epsilon||_n}||_\infty\leq\lambda_0\} F={∣∣n∣∣ϵ∣∣n​XTϵ​∣∣∞​≤λ0​}，${\lambda }_0$的选取和$\sigma$无关就能得到$\mathbb{P}[\mathcal{F}]\approx 1$，而且在$\mathcal{F}$上我们有$$||X({\beta }_0-\hat{\beta })|{|}_n^2\le ||X(\beta -{\beta }_0)|{|}_n^2+{\lambda }_0||ϵ|{|}_n(||\beta -\hat{\beta }|{|}_1)$$$$+\lambda ||\widehat{ϵ}|{|}_n(||\beta |{|}_1-||\hat{\beta }|{|}_1),$$现在我们来通过一些有技巧的方法来得到一个一般的Oracle inequality，为了方便起见，不妨令${\lambda }_0^{\ast }={\lambda }_0||ϵ|{|}_n,{\lambda }^{\ast }=\lambda ||\widehat{ϵ}|{|}_n$，则$${\Vert X\left({\beta }_0-\hat{\beta }\right)\Vert }_n^2\le {\Vert X\left(\beta -{\beta }_0\right)\Vert }_n^2+{\lambda }_0^{\ast }\Vert \beta -\hat{\beta }{\Vert }_1+{\lambda }^{\ast }\Vert \beta {\Vert }_1-{\lambda }^{\ast }\Vert \hat{\beta }{\Vert }_1，$$注意到右边后三项小于等于
$${\lambda }_0^{\ast }||{\beta }_S-{\hat{\beta }}_S|{|}_1+{\lambda }_0^{\ast }{\Vert {\beta }_{-S}\Vert }_1+{\lambda }_0^{\ast }||{\hat{\beta }}_{-S}|{|}_1$$$$+{\lambda }^{\ast }||{\beta }_S-{\hat{\beta }}_S|{|}_1+{\lambda }^{\ast }{\Vert {\beta }_{-S}\Vert }_1+{\lambda }^{\ast }||{\hat{\beta }}_{-S}|{|}_1$$整理下一可得
$${\Vert X\left({\beta }_0-\hat{\beta }\right)\Vert }_n^2+({\lambda }^{\ast }-{\lambda }_0^{\ast })||{\hat{\beta }}_{-S}-{\beta }_{-S}|{|}_1\le$$$${\Vert X\left({\beta }_0-\beta \right)\Vert }_n^2+({\lambda }^{\ast }+{\lambda }_0^{\ast })||{\hat{\beta }}_S-{\beta }_S|{|}_1$$$$+({\lambda }^{\ast }+{\lambda }_0^{\ast })||{\beta }_{-S}|{|}_1$$令${\lambda }_{\delta }^{\ast }={\lambda }_U^{\ast }+\delta {\lambda }_L^{\ast },{\lambda }_U^{\ast }={\lambda }^{\ast }+{\lambda }_0^{\ast },{\lambda }_L={\lambda }^{\ast }-{\lambda }_0^{\ast },0<\delta <1$,则
$${\Vert X\left({\beta }_0-\hat{\beta }\right)\Vert }_n^2+{\lambda }_L^{\ast }||{\hat{\beta }}_{-S}-{\beta }_{-S}|{|}_1+\delta {\lambda }_L^{\ast }||{\hat{\beta }}_S-{\beta }_S|{|}_1\le$$$${\Vert X\left({\beta }_0-\beta \right)\Vert }_n^2+{\lambda }_{\delta }^{\ast }||{\hat{\beta }}_S-{\beta }_S|{|}_1+2{\lambda }^{\ast }||{\beta }_{-S}|{|}_1.\text{\hspace{1em}(2)}$$当然我们只需要考虑(想一想为什么？)$${\Vert X\left({\beta }_0-\hat{\beta }\right)\Vert }_n^2+\delta {\lambda }_L^{\ast }||\hat{\beta }-\beta |{|}_1\ge {\Vert X\left({\beta }_0-\beta \right)\Vert }_n^2+2{\lambda }^{\ast }||{\beta }_{-S}|{|}_1$$的情况，故自然有
$$(1-\delta ){\lambda }_L^{\ast }||{\hat{\beta }}_{-S}-{\beta }_{-S}|{|}_1\le {\lambda }_{\delta }^{\ast }||{\hat{\beta }}_S-{\beta }_S|{|}_1.$$令$L=\frac{{\lambda }_{\delta }^{\ast }}{(1-\delta ){\lambda }_L^{\ast }}$，则有
$$||{\beta }_S-{\hat{\beta }}_S|{|}_1\le \frac{|S|||X\hat{\beta }-X\beta |{|}_n^2}{{\hat{\varphi }}^2(L,S)},\text{\hspace{1em}(3)}$$由基本不等式，再结合(2)，做一点计算最后可得 2 δ λ L ∗ ∥ β ^ − β 0 ∥ 1 + ∥ X ( β ^ − β 0 ) ∥ n 2 ≤ min ⁡ S ⊂ { 1 , … , p } min ⁡ β ∈ R p { 2 δ λ L ∗ ∥ β − β 0 ∥ 1 + ∥ X ( β − β 0 ) ∥ n 2 + λ δ ∗ 2 ∣ S ∣ ϕ ^ 2 ( L , S ) + 4 λ 0 ∥ ϵ ^ ∥ n ∥ β − S ∥ 1 } . \begin{array}{l}{2 \delta \lambda^*_{\mathrm{L}}\left\|\hat{\beta}-\beta^{0}\right\|_{1}+\left\|X\left(\hat{\beta}-\beta^{0}\right)\right\|_{n}^{2}} \\ {\quad \leq \min _{S \subset\{1, \ldots, p\}} \min _{\beta \in \mathbb{R}^{p}}\left\{2 \delta \lambda^*_{\mathrm{L}}\left\|\beta-\beta^{0}\right\|_{1}+\left\|X\left(\beta-\beta^{0}\right)\right\|_{n}^{2}\right.} \\ {+\frac{{\lambda^*_{\delta}}^2|S|}{\hat{\phi}^{2}(L, S)}+4 \lambda_{0}\|\hat{\epsilon}\|_{n}\left\|\beta_{-S}\right\|_{1} \}}.\end{array} 2δλL∗​∥∥∥​β^​−β0∥∥∥​1​+∥∥∥​X(β^​−β0)∥∥∥​n2​≤minS⊂{1,…,p}​minβ∈Rp​{2δλL∗​∥∥​β−β0∥∥​1​+∥∥​X(β−β0)∥∥​n2​+ϕ^​2(L,S)λδ∗​2∣S∣​+4λ0​∥ϵ^∥n​∥β−S​∥1​}.​注意到我们在这里显然要求${\lambda }^{\ast }>{\lambda }_0^{\ast },i.e.,\frac{{\lambda }^{\ast }}{{\lambda }_0^{\ast }}>\frac{\Vert ϵ{\Vert }_n}{\Vert \widehat{ϵ}{\Vert }_n}$,并且$\Vert \widehat{ϵ}{\Vert }_n≠0$，这意味着$\Vert Y-X\hat{\beta }{\Vert }_n≠0$，也就是说我们假设没有overfitting。实际上，我们也可以作$|\frac{\Vert \widehat{ϵ}{\Vert }_n}{\Vert ϵ{\Vert }_n}-1|\le \eta$的假设$,0<\eta <1.$这样对原设定稍作修改我们可以得到一个更一般的Oracle inequality(自己动手试一下，这里就不展示了)。

多元SR LASSO

Notation
$$\Vert A{\Vert }_1:=\sum _{j,k}\left|A_{j,k}\right|$$$$\Vert A{\Vert }_{\text{ nuclear }}:=\mathrm{trace}\left({\left(A^{T}A\right)}^{1/2}\right)$$对于多元的情况，即响应变量$Y$是一个矩阵，多元SR LASSO的定义是$$\hat{B}:=\arg \underset{B}{\min }\left\{\Vert Y-XB{\Vert }_{\text{ nuclear }}/\sqrt{n}+{\lambda }_{}\Vert B{\Vert }_1\right\}$$i.e.,$$\begin{array}{r}(\hat{B},\hat{\Sigma })=\arg {\min }_{B,\Sigma >0}\{\mathrm{trace}\left((Y-XB{)}^T(Y-XB){\Sigma }^{-1/2}\right)/n\\ +\mathrm{trace}\left({\Sigma }^{1/2}\right)+2{\lambda }_{}\Vert B{\Vert }_1\}\end{array}$$多元SR LASSO是为了我们后面nodeiwse regression做准备，以便在高维下通过LASSO进行Inference。

参考文献

Sara van de geer, Estimation and Testing Under Sparsity, 2016