UA MATH567 高维统计 专题0 为什么需要高维统计理论？——理解稀疏向量与hard-threshold

在上一篇的末尾，我们谈到了经典统计与高维统计的区别，在高维统计中，information is sparse in features，即并不是每个特征都是一样重要的，重要的特征占比非常小，这种特性被称为sparsity。不论是为了模型能处理高维问题还是为了提高计算效率，我们都需要去探索稀疏向量与稀疏矩阵的结构，下面我用一个简单的例子说明探索稀疏矩阵的结构的意义：

假设我们要做线性模型：$y=X\beta +ϵ$，$X$是正交的设计矩阵，维数为$n\times p$，假设$p=O(n)$，这是一个高维统计问题，我们可以期待系数一定是稀疏的
s = # { j : β j ≠ 0 } < < p s=\#\{j:\beta_j \ne 0\}<<p s=#{j:βj​​=0}<<p

$\beta$的正则方程为
$$X^{\prime }X\beta =X^{\prime }y$$

用分量形式表达为
$$x_j^T{x}_j{\beta }_j=x_j^{\prime }{y}_j$$

求解正则方程可以得到$\beta$的OLS估计，计算复杂度为$O(N^{2}p)$；因为$\beta$是稀疏向量，我们可以预期很多$\beta$都是0，如果我们对$\beta$的取值能做一下预估计，就可以引入hard-threshold，
$$x_{j,\delta }=x_j{1}_{|{\beta }_j|>\delta }$$

并把正则方程修改为
$$X_{\delta }^{\prime }{X}_{\delta }\beta =X_{\delta }^{\prime }y$$

做了这个操作后，计算复杂度可以降低为$O(N^{2}s)$。高维时，$p$与$N$同阶，所以直接求解正则方程复杂度的阶为$N^3$；$s$是$N$的无穷小量，引入hard-threshold后，求解正则方程复杂度的阶为$N^2$。

稀疏向量的soft-threshold与hard-threshold近似

假设$x$是一个稀疏向量，我们可以对$x$做一些近似，即让$x$中比较小的一些元素变成0，仅保留一些比较大的元素，这种近似可以把$x$的结构简化，在高维统计与高维数据分析中会有意想不到的效果。常用的做法有两种，分别是soft-threshold近似与hard-threshold近似。

称$H_{\lambda }(x)$是$x$的hard-threshold近似，如果
$$H_{\lambda }(x)=x{1}_{|x|>\lambda }=\{\begin{array}{l}xif|x|>\lambda \\ 0otherwise\end{array}$$

称这个近似为hard-threshold近似的原因我觉得可能是它比较无情，它就是一个简单的keep-or-kill机器，$x$的元素中绝对值大于$\lambda$的才能幸存，其他的就被“杀”掉了；

称$T_{\lambda }(x)$是$x$的soft-threshold近似，如果
$$T_{\lambda }(x)=(x-\lambda sign(x))1_{|x|>\lambda }=\{\begin{array}{l}x-\lambda sign(x)if|x|>\lambda \\ 0otherwise\end{array}$$

这里的$sign(x)$表示$x$的每个元素的符号，之所以称它是soft-threshold是因为幸存的元素没有全部大于$\lambda$，所以显得比hard-threshold近似更温和，下图可以比较一下两种近似的区别($\lambda =0.4$)：

引入hard-threshold的线性判别分析

前两讲我们讨论了多元统计中的经典模型线性判别分析，发现在高维时它的classification error满足高维统计理论的模式，而高维统计理论得到的theoretical classification error比经典理论的oracle error更大。于是我们可以提出一个很有趣的问题：既然经典方法处理高维问题classification error与高维统计理论的theoretical classification error一致，那么用高维统计方法处理高维问题的classification error又会是什么样子的呢？

我们延续对判别分析的讨论，在高维时，用于分类的特征维数较高，我们可以预料到有效的特征数目较少，于是我们可以引入hard-threshold来去掉那些取值较小变化不大的特征。引入特征的样本均值$${\hat{\mu }}_1=\frac{1}{n_1}\sum _{i=1}^{n_1}{x}_i,{\hat{\mu }}_2=\frac{1}{n_2}\sum _{i=n_1+1}^{n_1+n_2}{x}_i$$

基于特征的样本均值，我们引入它的hard-threshold近似
$${\tilde{\mu }}_1=H_{\lambda }({\hat{\mu }}_1),{\tilde{\mu }}_2=H_{\lambda }({\hat{\mu }}_2),\lambda =\sqrt{\frac{2\log d}{n}}$$

引入Pooled sample covariance matrix，
$$\hat{\Sigma }=\frac{{\sum }_{i=1}^{n_1}(x_i-{\hat{\mu }}_1)(x_i-{\hat{\mu }}_1{)}^T+{\sum }_{i=1}^{n_2}(x_i-{\hat{\mu }}_2)(x_i-{\hat{\mu }}_2{)}^T}{n_1+n_2-2}$$

从而判别函数为
$$\tilde{\Psi }(x)=({\tilde{\mu }}_1-{\tilde{\mu }}_2{)}^{\prime }{\hat{\Sigma }}^{-1}(x-\frac{{\tilde{\mu }}_1+{\tilde{\mu }}_2}{2})$$

基于这个判别函数进行判别分析，我们可以发现：

也就是说在这种情况下，模拟实验的结果更接近classical oracle，事实上在高维统计理论中，
$$\frac{\log C_d^s}{n}\to 0$$

时，classical oracle依然适用。