超高维变量筛选

Fighting_@

已于 2023-06-01 17:52:43 修改

阅读量1.7k

点赞数 2

文章标签：机器学习回归人工智能

于 2023-04-17 19:59:37 首次发布

本文链接：https://blog.csdn.net/m0_51327832/article/details/130122685

版权

在所有统计学习工具中，回归分析是最流行的方法之一，被广泛用于响应变量y和一系列协变量x之间的关系进行建模。在文献中各种回归分析的模型和方法都在发展，从经典的线性回归到非参数回归。超高维协变量回归分析在农业、生物医药、经济、金融、遗传学等科学领域都有应用。然而在协变量维数p很大时，大多数回归模型和方法可能会严重受损。从协变量中选择一个预测因子子集是有必要的。在过去的二十年中，已经提出了许多正则化方法，如LASSO， SCAD，自适应LASSO 和Dantzig选择，用于变量选择。然而，当协变量是超高维时，Fan, Samworth, and Wu(2009)指出，这些正则化方法同时受到计算方便性、统计准确性和算法稳定性的挑战。

为了处理超高维度，Fan和Lv(2008)在Sure Independence Screening for Ultrahigh Dimensional Feature Space中建议在实施详细的变量选择之前筛选出最不重要的协变量。他们提出了一种可靠的独立筛选程序(SIS)，用于线性模型，使用每个协变量与响应之间的边际Pearson相关性。自Fan和Lv(2008)的开创性工作以来，特征筛选在过去十年中受到了广泛关注。特别是Wang(2009)在Forward Regression for Ultra-high Dimensional Variable Screening中提出了正向回归，Chang, Tang, and Wu(2013)在Marginal Empirical Likelihood and Sure Independence Feature Screening中提出了边际似然比检验来筛选线性模型中不重要的协变量。Li等人(2012)在Robust Rank Correlation Based Screening中建议在存在异常值的情况下用Kendall等级相关代替Pearson相关。Ma, Li, and Tsai(2017)在Variable Screening Via Quantile Partial Correlation中提出在线性分位数回归中进行特征筛选的分位数偏相关。Fan and Song(2010)、Xu and Chen(2014)分别在Sure Independence Screening in Generalized Linear Models With NP-dimensionality和The Sparse MLE for Ultra-high-dimensional Feature Screening中提出了使用极大边际似然估计来进行变量筛选，Mai and Zou(2013)在The Kolmogorov Filter for Variable Screening in High-Dimensional Binary Classification中提出了Kolmogorov - Smirnov统计量来筛选广义线性模型中不重要的特征。Fan, Feng, and Song(2011)和He, Wang, and Hong(2013)分别在Nonparametric Independence Screening in Sparse Ultra-high Dimensional Additive Models和Quantile-adaptive Model-free Variable Screening for High-dimensional Heterogeneous Data中建议对加性模型进行非参数筛选。Song, Yi, and Zou(2014)在On Varying-Coefficient Independence Screening for High-dimensional Varying-Coefficient Models中提出了对变系数模型的独立筛选程序。如果工作模型接近潜在的真实模型，这些基于模型的筛选程序是有效的，否则可能是非常无效的。在实际应用中，我们很少能知道正确的模型形式，特别是在面对高维数据。为了最大限度地减少模型假设错误的影响，已经开发了几种无模型筛选方法。例如，Zhu等人(2011)在Model-free Feature Screening for Ultrahigh Dimensional Data中对一般类型的指标模型提出了一种确定的独立排序和筛选程序。Li, Zhong, and Zhu(2012)在Feature Screening Via Distance Correlation Learning中提出用距离相关性进行特征筛选，可以同时处理分组协变量和多变量响应。Shao and Zhang(2014)在Martingale Difference Correlation and Its Use in High Dimensional Variable Screening中引入鞅差异相关，对响应的均值函数进行筛选。当我们缺乏关于回归结构的先验信息时，这些无模型方法更受青睐。

在现有研究中，对于超高维数据，一般的做法是先通过变量筛选方法，将变量维度降到一个相对温和的程度，再通过一些精确的变量选择方法进行降维。根据不同文献，我们对2008年到现在的部分变量筛选方法进行介绍。其中第1和2节介绍了SIS方法在线性模型和广义线性模型中的应用；第3节介绍了正向回归方法；第4节介绍了在非参数模型上提出了NIS变量筛选方法；第5节介绍了一种基于距离相关性的无模型变量筛选方法；第6节介绍了一种对主效应和二阶交互效应都选择的变量筛选方法；第7节介绍了条件确定独立筛选方法；第8节介绍了基于累积散度的无模型变量筛选方法；

1.确定独立筛选(SIS)

2.确定独立筛选在广义线性模型(SIS in GLM)

3.前向回归(Forward Regression, FR)

4.非参数独立筛选(Nonparametric Independence Screening, NIS)

6.交互筛选(Interaction Screening)

算法1：两阶段iFOR (iFORT)

算法2：在边际原则下的iFOR (iFORM)

7.条件确定独立筛选(CSIS)

8.基于累计散度(Cumulative Divergence, CD)的正向筛选

8.1 Cumulative Divergence

8.2 正向筛选程序

1.确定独立筛选(SIS)

Fan and Lv (2008)在Sure independence screening for ultrahigh dimensional feature space中提出了确定筛选方法。这篇论文的目的是通过快速有效的方法将维度p从一个大的或巨大的尺度(例如， $\exp\{O(n^{\xi })\}$ ，对于一些 $\xi >0$ )降低到一个相对大的尺度d(例如 $o(n)$ )。为此，该论文引入了确定筛选的概念，提出了一种基于相关学习的确定筛选方法，该方法可以过滤掉与响应相关性较弱的特征。这种相关性筛选称为确定独立筛选(sure independence screening, SIS)。相较于变量选择方法的Oracle性质，该论文为变量筛选方法提出了一种确定筛选性质，即所有重要变量经过变量筛选后以趋于1的概率存活。

对于回归模型

$y=X\beta+\varepsilon$

当维度p大于样本容量n时，真正的困难来自四个事实。首先，设计矩阵X是矩形的，列比行多。在这种情况下，矩阵 $X^TX$ 是巨大且奇异的。协变量和响应之间的最大伪相关可能很大，这是由于维数和与不重要预测因子相关的重要预测因子的存在。这使得变量选择变得困难。其次，随着n的增长，总体协方差矩阵Σ可能会变得病态，这增加了变量选择的难度。第三，最小非零绝对系数 $|\beta_i|$ 可能随n衰减，并下降到噪声水平附近，即 $\{\log(p)/n\}^{-1/2}$ 阶。第四， $z=\Sigma^{-1/2}x$ 的分布可能有重尾。因此，在一般情况下，当p>>n时，如何准确估计稀疏参数向量β是一个挑战。

通过确定筛选，我们指的是在应用概率趋向于1的变量筛选程序后，所有重要变量都存在的性质。如果降维方法具有一定的筛选性能，则该方法是可取的。下面我们将介绍一个简单的确定筛选方法，使用组件回归或等效相关学习。将每个输入变量标准化，使样本均值为0，样本标准差为1。令 $\omega=(\omega_1,\ldots,\omega_p)^T$ ,

$\omega=X^TY$

可以看出，在对协变量和响应变量进行标准化后， $\omega_i$ 表示的是协变量 $X_i$ 与响应变量Y的相关系数。

对于任意给定的 $\gamma\in(0,1)$ ，我们将向量ω的p个分量大小按递减顺序排序，并定义一个子模型

$\mathcal{M}_\gamma=\left\{1 \leqslant i \leqslant p:\left|\omega_i\right| \text { is among the first }[\gamma n] \text { largest of all }\right\},$

其中[γn]表示γn的整数部分。这是收缩完整模型{1，…，p}到d =[γn]< n的子模型 $\mathcal{M}_\gamma$ 。这种相关学习根据特征与响应变量的边际相关性对特征的重要性进行排序，过滤掉与响应变量的边际相关性较弱的特征。我们称这种相关筛选方法为SIS，因为每个特征都被独立地用作预测因子，以决定它对预测响应变量的有用程度。

为了直观的理解为什么协变量和响应变量的边际系数可以用来进行变量筛选，给出如下定义

$\omega^\lambda=\left(\mathbf{X}^{\mathrm{T}} \mathbf{X}+\lambda I_p\right)^{-1} \mathbf{X}^{\mathrm{T}} \mathbf{y},$

上式为岭估计的结果，在 $\lambda \rightarrow 0$ 时， $\boldsymbol{\omega}^\lambda \rightarrow \hat{\boldsymbol{\beta}}_{\mathrm{LS}}$ ；而在 $\lambda \rightarrow \infty$ 时， $\lambda \boldsymbol{\omega}^\lambda \rightarrow \boldsymbol{\omega}$ 。可以看出，在 $\lambda$ 很大时，对 $\omega$ 排序也就是在对岭估计的系数进行排序。由变量的稀疏性假设可知，大多数变量的系数是等于零的，因此对系数绝对值大小进行排序可以对变量进行筛选。

2.确定独立筛选在广义线性模型(SIS in GLM)

Fan and Song (2010)在Sure independence screening in generalized linead models with NP-dimensionality中将SIS方法扩展到了广义线性模型中。

对于广义线性模型，有

$f_Y(y ; \theta)=\exp \{y \theta-b(\theta)+c(y)\},$

$E(Y \mid \mathbf{X}=\mathbf{x})=b^{\prime}(\theta(\mathbf{x}))=g^{-1}\left(\sum_{j=0}^p \beta_j x_j\right),$

此时，响应变量与协变量不再是线性关系，所以无法再用边际相关系数来进行变量筛选。需要用其他方式来表示协变量与响应变量之间的边际相关性。同样将协变量进行标准化。

该论文将边际模型称为具有协变量分量的拟合模型。最大边际似然估计量(MMLE) $\hat{\beta}_j^M$ ， $j=1,\ldots,p_n$ ，定义如下

$\hat{\boldsymbol{\beta}}_j^M=\left(\hat{\beta}_{j, 0}^M, \hat{\beta}_j^M\right)=\underset{\beta_0, \beta_j}{\arg \min } \mathbb{P}_n l\left(\beta_0+\beta_j X_j, Y\right)$

其中 $l(Y ; \theta)=-[\theta Y-b(\theta)-\log c(Y)]$ ， $\mathbb{P}_n f(X, Y)=n^{-1} \sum_{i=1}^n f\left(X_i, Y_i\right)$ 。通过下列子集对变量进行选择

$\widehat{\mathcal{M}}_{\gamma_n}=\left\{1 \leq j \leq p_n:\left|\hat{\beta}_j^M\right| \geq \gamma_n\right\}$

其中 $\gamma_n$ 为预先定义的阈值。这种独立学习根据特征的边际回归系数的大小对特征的重要性进行排序。通过独立学习，我们通过选择较大的 $\gamma_n$ ，将参数空间的维数从 $p_n$ (可能是数十万)大幅降低到更小的数字，因此计算更加可行。尽管边际模型的解释和含义与联合模型有偏差，但在温和的条件下，联合模型的非稀疏信息可以传递给边际模型。因此，它适用于变量筛选的目的。该论文同样证明了在一定条件下，对于适当选择的 $\gamma_n$ ，该变量筛选方法具有确定筛选性质。

在类似的广义线性模型变量筛选问题中，Fan, Samworth和Wu(2009)建议通过对边际似然排序来筛选变量。这种方法可以被看作是一种边际似然比筛选，因为它建立在对数似然增量的基础上。该论文表明似然比筛选与MMLE筛选是等价的，因为它们都具有确定的筛选性质，并且两种方法所选变量的数量具有相同的数量级。具体做法如下，

$L_{j, n}=\mathbb{P}_n\left\{l\left(\hat{\beta}_0^M, Y\right)-l\left(\mathbf{X}_j^T \hat{\boldsymbol{\beta}}_j^M, Y\right)\right\}, \quad j=1, \ldots, p_n,$

可以通过对向量 $L_n$ 从大到小进行排序来对变量进行选择，即

$\widehat{\mathcal{N}}_{v_n}=\left\{1 \leq j \leq p_n: L_{j, n} \geq v_n\right\},$

其中 $v_n$ 是预先给定的阈值。

3.前向回归(Forward Regression, FR)

前面介绍的变量筛选方法是基于边际相关关系的确定独立筛选方法，接下来介绍前向回归的变量筛选方法。Wang (2009)在Forward Regression for Ultra-High Dimensional Variable Screening中提出了正向回归变量筛选方法。对于回归模型

$Y_i=X_i^T\beta+\varepsilon_i$

其中 $X_i=(X_{i1},\ldots,X_{ip})^T$ 。假设 $Var(Y_i)=1, E(X_{ij})=0, Var(X_{ij})=1$ 。前向回归的算法如下

Step 1.(初始化）令 $\mathcal{S}^{(0)}=\emptyset$ 。

Step 2.(正向回归)

(2.1) 评估。在第k步，给出 $\mathcal{S}^{(k-1)}$ 。对任意的 $j \in \mathcal{F} \backslash \mathcal{S}^{(k-1)}$ ，构造一个候选模型 $\mathcal{M}_j^{(k-1)}=\mathcal{S}^{(k-1)} \cup\{j\}$ ，然后计算 $\operatorname{RSS}_j^{(k-1)}=\mathfrak{Y}^{\top}\left\{\mathbf{I}_n-\tilde{\mathbf{H}}_j^{(k-1)}\right\} \mathfrak{Y}$ ，其中

$\begin{aligned} \tilde{\mathbf{H}}_j^{(k-1)}=\mathfrak{X}_{\left(\mathcal{M}_j^{(k-1)}\right)}\left\{\mathfrak{X}_{\left(\mathcal{M}_j^{(k-1)}\right)}^{\top} \mathfrak{X}_{\left(\mathcal{M}_j^{(k-1)}\right)}\right\}^{-1} \mathfrak{X}_{\left(\mathcal{M}_j^{(k-1)}\right)}^{\top} \end{aligned}$

为投影矩阵， $\mathfrak{X}=(X_1,\ldots,X_n)^T$ ， $\mathfrak{Y}=(Y_1,\ldots,Y_n)^T$

(2.2) 筛选。令 $a_k=\arg \min _{j \in \mathcal{F} \backslash \mathcal{S}^{(k-1)}} \operatorname{RSS}_j^{(k-1)}$ ，并更新 $\mathcal{S}^{(k)}=\mathcal{S}^{(k-1)} \cup\left\{a_k\right\}$

Step 3.(解决路径) 第2步迭代n次，总共有n个嵌套的候选模型。然后通过求解路径

$\mathbb{S}=\left\{\mathcal{S}^{(k)}: 1 \leq k \leq n\right\}, \mathcal{S}^{(k)}=$ $\left\{a_1, \ldots, a_k\right\}$

该正向回归方法通过初始的空集，通过计算最小的RSS值，一步一步的向集合内添加变量来对变量进行筛选。该论文的理论分析表明，即使预测因子维数远远大于样本容量，FR也能一致地识别所有相关预测因子。特别是，如果真实模型的维数是有限的，FR可以在有限的步骤内发现所有相关的预测因子。为了从FR生成的模型中实际选择“最佳”候选者，可以使用Chen和Chen(2008)最近提出的BIC标准。由此产生的模型可以作为一个很好的起点，从这里可以直接应用许多现有的变量选择方法(例如，SCAD和Adaptive LASSO)。

4.非参数独立筛选(Nonparametric Independence Screening, NIS)

前面的变量筛选方法都是基于线性或广义线性模型，在很多情况下，这些模型都并不适用。当协变量不是联合正态时，即使联合回归中线性模型成立，边际回归也可能是高度非线性的。因此，基于非参数边际回归的SIS成为了一个自然的候选。

在实践中，通常很少有先验信息表明协变量的影响是采取线性形式或属于任何其他有限维参数族。通过使用更灵活的非参数模型，有时可能会有实质性的改进。Fan et al. (2011)在Nonparametric Independence Screening in Sparse Ultra-High-Dimensional Additive Models中提出了非参数独立筛选的方法。由于假设模型是非参数形式的，比参数模型更加灵活。假设模型如下

$Y=m(X)+\varepsilon$

同样考虑协变量和响应变量之间的边际关系，为了快速识别模型中的重要变量，我们考虑以下p维边际非参数回归问题:

$\min _{f_j \in L_2(P)} E\left(Y-f_j\left(X_j\right)\right)^2$

其中P表示 $(X, Y)$ 的联合分布和 $L_2(P)$ 是测度P下的平方可积函数类。为了获得边际非参数函数，通过B样条基对边际模型中的非参数进行拟合。设 $S_n$ 为 $l\geq1$ 维的多项式样条空间， $\{\Psi_{jk},k=1,\ldots,d_n\}$ 表示归一化B样条基，且 $||\Psi_{jk}||_\infty\leq1$ 。对于任意 $f_{nj}\in S_n$ ，有

$f_{n j}(x)=\sum_{k=1}^{d_n} \beta_{j k} \Psi_{j k}(x), \quad 1 \leq j \leq p,$

此时边际回归问题可以表示为

$\min _{f_{n j} \in S_n} \mathbb{P}_n\left(Y-f_{n j}\left(X_j\right)\right)^2=\min _{\beta_j \in \mathbb{R}^{d_n}} \mathbb{P}_n\left(Y-\Psi_j^T \beta_j\right)^2,$

根据最小二乘法，求解上式可得

$f_{n j}\left(X_j\right)=\Psi_j^T\left(E \Psi_j \Psi_j^T\right)^{-1} E \Psi_j Y, \quad j=1, \ldots, p,$

其中E为真实模型下的期望。

现在可以通过如下方式对变量子集进行选择

$\widehat{\mathcal{M}}_{v_n}=\left\{1 \leq j \leq p:\left\|\hat{f}_{n j}\right\|_n^2 \geq v_n\right\}$

其中 $\left\|\hat{f}_{n j}\right\|_n^2=n^{-1} \sum_{i=1}^n \hat{f}_{n j}\left(X_{i j}\right)^2$ ， $v_n$ 是预先给定的阈值。

这种独立筛选依据边际非参数回归的边际强度对重要性进行排序。这种筛选也可以看作是根据边际非参数估计 $\left\{\hat{f}_{n j}\left(X_{i j}\right)\right\}_{i=1}^n$ 与响应变量 $\left\{Y_i\right\}_{i=1}^n$ 的相关性大小进行排序，因为 $\left\|\hat{f}_{n j}\right\|_n^2=\left\|Y \hat{f}_{n j}\right\|_n$ 。从这个意义上说，提出的NIS过程与Fan和Lv(2008)提出的相关学习有关。
另一种筛选方法是根据分部非参数回归的残差平方和的下降顺序进行排序，其中我们选择一组变量:

$\widehat{\mathcal{N}}_{\gamma_n}=\left\{1 \leq j \leq p: u_j \leq \gamma_n\right\},$

其中 $u_j=\min _{\beta_j} \mathbb{P}_n\left(Y-\Psi_j^T \beta_j\right)^2$ 为边际拟合的残差平方和， $\gamma_n$ 为预定义的阈值。可以简单地表示 $u_j=\mathbb{P}_n\left(Y^2-\hat{f}_{n j}^2\right)$ 。可以看出这两种变量筛选方法是等价的。给论文同样证明了该变量筛选方法具有确定筛选性质。

5.基于距离相关的特征筛选方法(Distance Correlation-SIS, DC-SIS)

前面的非参数独立筛选方法比基于参数模型的变量筛选方法更加灵活，但仍然限制了协变量之间是线性关系。Li (2012)在Feature Screening via Distance Correlation Learning中提出了一种基于距离相关(DC)的无模型变量筛选方法。有论文证明了当且仅当两个随机向量相互独立时，这两个随机向量的DC等于零。此外，两个单变量正态随机变量的DC是这两个正态随机变量Pearson相关系数绝对值的严格递增函数。这两个显著的特性促使我们在超高维数据中使用DC进行特征筛选。

我们将基于DC的SIS过程称为DC-SIS。DC-SIS可以像SIS一样容易实现。当响应和预测变量均为正态分布时，它等价于SIS。然而，DC-SIS具有包括SIS在内的现有筛查程序所不具备的吸引人的特征。例如，上述筛选程序都不能处理分组预测因子或多变量反应。所提出的DC-SIS可以直接用于筛选分组变量，也可以直接用于具有多元响应的超高维数据。多变量响应和/或分组预测因子的特征筛选在路径分析中非常有意义。更重要的是，DC-SIS可以用于筛选特征，而无需指定响应和预测因子之间的回归模型。与基于模型的筛选程序相比， DC-SIS是一种无模型的筛查程序。这一优点使所提出的过程对模型错误规范具有鲁棒性。

接下来给出两个随机变量u和v之间的距离协方差的定义

$\operatorname{dcov}^2(\mathbf{u}, \mathbf{v})=\int_{R^{d_u+d_v}}\left\|\phi_{\mathbf{u}, \mathbf{v}}(\mathbf{t}, \mathbf{s})-\phi_{\mathbf{u}}(\mathbf{t}) \phi_{\mathbf{v}}(\mathbf{s})\right\|^2 w(\mathbf{t}, \mathbf{s}) d \mathbf{t} d \mathbf{s}$

其中 $d_u$ 和 $d_v$ 是u和v的维数， $\phi_u(t)$ 和 $\phi_v(t)$ 是u和v的特征函数， $\phi_{u,v}(t,s)$ 是u和v的联合特征函数， $c_d=\pi^{(1+d) / 2} / \Gamma\{(1+d) / 2\}$ ，

$w(\mathbf{t}, \mathbf{s})=\left\{c_{d_u} c_{d_v}\|\mathbf{t}\|_{d_u}^{1+d_u}\|\mathbf{s}\|_{d_v}^{1+d_v}\right\}^{-1}$

则一阶矩有限的u和v之间的DC定义为

$\operatorname{dcorr}(\mathbf{u}, \mathbf{v})=\frac{\operatorname{dcov}(\mathbf{u}, \mathbf{v})}{\sqrt{\operatorname{dcov}(\mathbf{u}, \mathbf{u}) \operatorname{dcov}(\mathbf{v}, \mathbf{v})}} .$

DC的两个显著特性促使我们在特征筛选过程中使用它。第一个是DC和Pearson相关系数之间的关系。对于两个单变量正态随机变量U和V，有

$\begin{aligned} \operatorname{dcorr}(U, V) =\left\{\frac{\rho \arcsin (\rho)+\sqrt{1-\rho^2}-\rho \arcsin (\rho / 2)-\sqrt{4-\rho^2}+1}{1+\pi / 3-\sqrt{3}}\right\}^{1 / 2}, \end{aligned}$

随着 $|\rho|$ 严格地增加。这一性质表明，基于DC的特征筛选过程等价于具有正态分布预测因子和随机误差的线性回归的边缘皮尔逊相关学习。

DC的第二个显著性质是dcorr(u, v) = 0当且仅当u和v是独立的。我们注意到两个单变量随机变量U和V是独立的当且仅当U和V的严格单调变换T (V)是独立的。这意味着，在u和v之间存在非线性关系的情况下，基于dc的特征筛选过程可以比边缘皮尔逊相关学习更有效。

为通过距离相关性进行变量筛选，对 $k=1, \ldots, p$ ，令

$\omega_k=\operatorname{dcorr}^2\left(X_k, \mathbf{y}\right), \quad \text { } \quad \widehat{\omega}_k=\widehat{\operatorname{dcorr}}^2\left(X_k, \mathbf{y}\right),$

基于随机样本 $\left\{\mathbf{x}_i, \mathbf{y}_i\right\}, i=1, \ldots, n$ 。我们考虑用 $\omega_k$ 作为边际效用来对 $X_k$ 在总体水平上的重要性进行排序。我们使用DC是因为它允许y到x的任意回归关系，不管它是线性的还是非线性的。DC还允许单变量和多变量响应，无论它是连续的、离散的还是分类的。此外，它还支持分组预测器。因此，这种基于DC的筛选过程是完全无模型的。我们选择了一组重要的预测因子，有很大的 $\omega_k$ 。也就是说，我们定义

$\widehat{\mathcal{D}}^{\star}=\left\{k: \widehat{\omega}_k \geq c n^{-\kappa}, \text { for } 1 \leq k \leq p\right\},$

其中c和 $\kappa$ 是预先给定的阈值。

DC-SIS可以像基于Fan和Lv提出的Pearson相关的确定独立筛选(SIS)程序一样容易实现。而DC-SIS可以显著提高SIS。Fan和Lv基于线性模型建立了SIS的确定筛选特性，但在更一般的设置下，包括线性模型，确定筛选特性对DC-SIS是有效的。此外，DC-SIS的实现不需要对响应或预测因子进行模型规范(如线性模型或广义线性模型)。在超高维数据分析中，这是一个非常吸引人的特性。此外，DC-SIS可直接用于筛选分组预测变量和多变量响应变量。该论文还建立了DC-SIS的确定筛选性质。

6.交互筛选(Interaction Screening)

现有的大多数变量选择方法都是为了选择主效应而设计的。然而，在复杂情况下，主要效应可能不足以表征反应和预测因素之间的关系，在这种情况下，预测因素共同起作用。交互模型提供了更好的响应面近似，提高了预测精度，并为预测因子之间的相互作用提供了新的见解。在超高维数据分析中，识别重要的相互作用效应是极具挑战性的，在实践中最受关注的是计算的可行性。对于有n个观测值和p个预测器的数据集，包含所有线性项和二阶项的增广设计矩阵的大小为 $n\times (p^2+3p)/2$ 。当p很大时，比如超过几十个，交互的数量是巨大的，超出了标准机器和软件工具的存储和分析能力。理论上，在高维环境下，交互选择一致性很难实现。在随机设计中，交互效应具有比主效应更重的尾部和更复杂的协方差结构，这使得理论分析变得困难。Hao and Zhang (2014)在Interaction Screening for Ultrahigh-Dimensional Data中提出了交互筛选方法。研究了在预测因子为高维情况下，对主效应和二阶效应进行选择，并从理论上证明了该方法具有确定筛选性质。

给定n个iid观测值 $(x_1,Y_1),\ldots,(x_n,Y_n)$ 时，我们考虑一个具有线性和二阶项的回归模型

$Y_i=\beta_0+x_i^T\beta^{(1)}+z_i^T\beta^{(2)}+ \varepsilon_i$

其中 $x_i=(x_{i1},\ldots,x_{ip})^T$ 表示协变量， $z_i=(x_{i1}^2,x_{i1}x_{i2},\ldots,x_{i1}x_{ip},x_{i2}^2,x_{i2}x_{i3},\ldots,x_{ip}^2)^T$ 表示二次项和二阶交互作用项。且假设协变量和响应变量都标准化，二次项和二阶交互作用项是居中的，即 $z_i=(\ldots,x_{il}x_{ik}-Ex_{il}x_{ik},\ldots)^T$ 。为便于表示，令

$\mathcal{P}_1=\{1,2, \ldots, p\}, \quad \mathcal{P}_2=\{(k, \ell): 1 \leq k \leq \ell \leq p\}$

任何一项 $\beta_j\neq0$ 或 $\beta_{jk}\neq0$ 均视为相关结果；相应的预测因子可以是线性的，二次的，或者相互作用的。我们定义非零线性和2阶效应为

$\begin{aligned} \mathcal{T}_1=\left\{j: \beta_j \neq 0, j \in \mathcal{P}_1\right\}, \qquad\mathcal{T}_2=\left\{(j, k): \beta_{j k} \neq 0,(j, k) \in \mathcal{P}_2\right\} . \end{aligned}$

则完整的模型为 $\mathcal{F}=\mathcal{P}_1 \cup \mathcal{P}_2$ ，真实模型为 $\mathcal{T}=\mathcal{T}_1 \cup \mathcal{T}_2$ 。对任意模型 $\mathcal{M}$ ，用 $|\mathcal{M}|$ 表示模型大小，即有 $\left|\mathcal{P}_1\right|=p, \left|\mathcal{P}_2\right|=q, |\mathcal{F}|=d=p+q$ 。假设 $\left|\mathcal{T}_1\right|=p_0, \left|\mathcal{T}_2\right|=q_0, |\mathcal{T}|=d_0=p_0+q_0$

该论文提出了iFORT和iFORM两种基于正向选择的交互选择算法。使用 $\mathcal{C}$ 来表示候选索引集，该索引集包含在接下来的步骤中要考虑选择的所有项。

算法1：两阶段iFOR (iFORT)

Stage 1. 定义 $\mathcal{C}=\mathcal{P}_1$ 。在 $\mathcal{C}$ 上进行正向选择(FS)，得到的解路径为 $\left\{\mathcal{S}_t^{(1)}, t=1,2, \ldots\right\}$ ，选择主效应 $\widehat{\mathcal{M}}=\left\{j_1, \ldots, j_{t_1}\right\}$ .

Stage 2.更新 $\mathcal{C}=\widehat{\mathcal{M}} \cup\{(k, l): k \in \widehat{\mathcal{M}}\text{ and }l \in \widehat{\mathcal{M}}\}$ 。在 $\widehat{\mathcal{M}}$ 上应用正向选择法选择二次项和交互项。用 $\left\{\mathcal{S}_{t_1+t}^{(2)}, t=1,2, \ldots\right\}$ 表示解路径.

这个方法主要是分成两个阶段来对主效应和2阶效应进行选择。，同时在每个阶段中通过正向选择方法对效应进行选择。iFORT简单、快速、可行，可用于高维数据分析。如果模型是稀疏的，重要线性效应的数量 $p_0$ 会很小，所以阶段2考虑的项的数量将远远小于 $(p^2+p)/2$ 。该论文同样研究了iFORT变量筛选方法的筛选性质。

iFORT在两个阶段分别选择主效应和order-2项。或者，可以根据边际原则选择它们，这导致了另一种新的算法iFORM。iFORM的主要思想是将FS应用于由动态候选集c索引的模型(2.1)的子模型。在步骤t中，我们分别使用St、Mt和Ct表示所有选定效果、选定主效果和当前候选集的索引集。最初，C = P1，即所有主效应。然后，通过增加模型中主要效应之间的双向交互作用，候选集C逐渐增长。

算法2：在边际原则下的iFOR (iFORM)

iFORM的主要思想是将FS应用于由动态候选集 $\mathcal{C}$ 索引的子模型。在步骤t中，我们分别使用 $\mathcal{S}_t, \mathcal{M}_t$ 和 $\mathcal{C}_t$ 表示所有选择的效应、选择的主效应和当前候选集的索引集。最初， $\mathcal{C}=\mathcal{P}_1$ ，即所有主效应。然后，通过增加模型中主要效应之间的二阶交互效应，候选集 $\mathcal{C}$ 逐渐增长。换句话说，我们通过定义 $\mathcal{C}_t=\mathcal{P}_1\bigcup \{(k,l):k,l\in \mathcal{M}_t\}$ 来更新 $\mathcal{C}_t$ 。

Step 1.(初始化)令 $\mathcal{S}_0=\emptyset, \mathcal{M}_0=\emptyset\text{ and }\mathcal{C}_0=\mathcal{P}_1$ .

Step 2.(选择)在第t步，在给出 $\mathcal{S}_{t-1}, \mathcal{C}_{t-1}$, and $\mathcal{M}_{t-1}$ 时，使用正向回归从 $\mathcal{C}_{t-1} \backslash \mathcal{S}_{t-1}$ 中选择一个预测因子进入模型。我们将选择一个加入到 $\mathcal{S}_{t-1}$ 来得到 $\mathcal{S}_{t}$ 。如果新选择的预测因子是主效应，我们也会更新 $\mathcal{C}_t$ 和 $\mathcal{M}_t$ 。否则， $\mathcal{C}_t=\mathcal{C}_{t-1}$ , $\mathcal{M}_t=\mathcal{M}_{t-1}$ .

Step 3.(解路径)迭代步骤2，得到解路径 $\left\{\mathcal{S}_t: t=1,2, \ldots D\right\}$ .

在上述算法中，选择D作为 $d_0$ (重要效应总数)的合理上限，终止过程。iFORM的一个直接优势是它允许交互提前进入模型，从而更容易选择弱相关的主效果。此外，当我们沿着解路径确定最优模型时，我们只需要使用一次模型大小选择标准BIC，而对于iFORT，我们需要使用两次BIC，即使解路径是正确的，在实践中可能会造成额外的误差。该论文同样研究了iFORM变量筛选方法的筛选性质。

iFORM方法通过对主效应和二阶效应一起放入待选效应中一起选择，且随着步骤的进行，待选集里的效应也在动态变化。为了从FS路径中选择最优模型，该论文考虑了BIC的使用。文献中提出了两种类型的BIC，一种是标准BIC

$\operatorname{BIC}_1(\widehat{\mathcal{M}})=\log \hat{\sigma}_{\widehat{\mathcal{M}}}^2+n^{-1}|\widehat{\mathcal{M}}| \log (n)$

以及专为高维数据设计的BIC

$\operatorname{BIC}_2(\widehat{\mathcal{M}})=\log \hat{\sigma}_{\widehat{\mathcal{M}}}^2+n^{-1}|\widehat{\mathcal{M}}|\left(\log (n)+2 \log d^*\right)$

其中 $d^*$ 是完整模型中预测因子的个数。

其中 $d^*$ 是完整模型中预测因子的个数。两个BIC的唯一区别是BIC2中多了一项 $2\log(d^*)$ 。Chen和Chen(2008)通过控制错误发现率(FDR)推导出BIC2，并证明 $d^*=O(n^\xi )$ ，对于某些ξ > 0，是选择一致的。由于我们处理的是超高维数据，所以iFORM使用BIC2, iFORT的第一阶段使用BIC2。在iFORT的第二阶段，由于候选预测因子的数量在第一阶段之后已经大幅减少，因此BIC1更合适。

7.条件确定独立筛选(CSIS)

Barut et al. (2016)在Conditional Sure Independence Screening中提出了条件确定独立筛选方法。该方法是前面介绍的确定独立筛选方法的自然延伸。当条件集不包含变量时，它就是SIS。它为每个变量的贡献提供了另一种衡量方法，并在无条件变量无效时提供了有用的替代方法。当研究人员从以前的调查中知道某些变量 $X_C$ 对结果负责时，应该考虑到这一知识。条件筛选通过对存在 $X_C$ 的每个变量的条件边际效用进行排序，招募额外的变量来增强 $X_C$ 的预测能力。

条件筛选显著拓宽了筛选方法。由于它不要求(尽管更倾向于) $X_C$ 包含活动变量，人们可以通过对C的不同选择来探测变量的效用。在没有关于变量有用性的先验知识的情况下，人们可以像Fan和Lv(2008)那样采用那些在筛选和选择中幸存下来的变量。人们也可以从正向回归(Wang 2009)或最小角度回归(LARS)算法(Efron et al 2004)中选择前几个变量。在许多情况下，我们有大量的统计证据表明，前几个变量是重要的，可以作为 $X_C$ 。

有两个原因导致了CSIS方法的出现。首先，SIS方法筛选出那些对响应有很大影响但与响应相关性较弱的变量，但也可能有很大的假阳性。也就是说，招募那些具有强大边际效用，但是在给定其他变量情况下，条件的弱依赖于响应变量。其次，CSI方法充分运用了先验信息，来获得一个更好的筛选效果，且该论文证明了，即使随机的选择条件变量，对于变量筛选仍然是有益的。

对于广义线性模型，响应变量服从如下指数族分布

$f(y \mid \mathbf{x} ; \theta)=\exp (y \theta(\mathbf{x})-b(\theta(\mathbf{x}))+c(\mathbf{x} ; y)),$

$\mathbb{E}(Y \mid \mathbf{X}=\mathbf{x})=b^{\prime}(\theta(\mathbf{x}))$

当模型是典则连接时， $\theta(\mathbf{x})=\mathbf{x}^T \boldsymbol{\beta}^{\star}$ 。假设参数 $\boldsymbol{\beta}^{\star}=\left(\beta_1^{\star}, \ldots, \beta_p^{\star}\right)^T$ 是稀疏的，即集合 $\mathcal{M}_{\star}=\{j=1, \ldots, p: \left.\beta_j^{\star} \neq 0\right\}$ 是小的。定义条件变量 $X_C$ 和剩余变量 $X_D$ ，不失一般性，令C是前q个变量的集合，D是剩余p-q个变量的集合。

$\begin{aligned} & \boldsymbol{\beta}_{\mathcal{C}}=\left(\beta_1, \ldots, \beta_q\right)^T \in \boldsymbol{R}^q, \\ & \boldsymbol{\beta}_{\mathcal{D}}=\left(\beta_{q+1}, \ldots, \beta_p\right)^T \in \boldsymbol{R}^d, \end{aligned}$

对剩余变量进行标准化，即 $\mathbb{E}\left(X_j\right)=0$ and $\mathbb{E}\left(X_j^2\right)=1$, for $j \in \mathcal{D}$ 。

条件极大边际似然估计 $\hat{\boldsymbol{\beta}}_{\mathcal{C} j}^M$ for $j=q+1, \ldots, p$ 由极大化负边际似然得到，

$\hat{\boldsymbol{\beta}}_{\mathcal{C} j}^M=\operatorname{argmin}_{\boldsymbol{\beta}_{\mathcal{C}}, \beta_j} \mathbb{P}_n\left\{l\left(\mathbf{X}_{\mathcal{C}}^T \boldsymbol{\beta}_{\mathcal{C}}+X_j \beta_j, Y\right)\right\},$

其中 $l(\theta, Y)=b(\theta)-\theta Y \quad$ and $\quad \mathbb{P}_n f(X, Y)=n^{-1} \sum_{i=1}^n$ 。

则变量筛选结果如下

$\hat{\mathcal{M}}_{\mathcal{D}, \gamma}=\left\{j \in \mathcal{D}:\left|\hat{\beta}_j^M\right|>\gamma\right\}$

其中 $\gamma$ 为预先给定的阈值。

也可以采用第二节中介绍的选取大的边际似然的方法来进行变量筛选。同样，CSIS方法具有确定筛选性质。

8.基于累计散度(Cumulative Divergence, CD)的正向筛选

特征筛选在超高维数据分析中起着重要作用。由于模型结构复杂，噪声水平高，现有的筛选方法往往存在模型不规范和异常值的存在。为了解决这些问题，Zhou et al. (2020)在Model-Free Forward Screening Via Cumulative Divergence中提出了一种名为累积发散度(CD)的新度量，并开发了一种基于CD的正向筛选程序。这种正向筛选方法是无模型的，并能抵抗响应中异常值的存在。它还将协变量之间的联合效应纳入筛选过程。通过数据驱动阈值，新方法可以自动确定筛选后应保留的特征数量。这些优点使得基于CD的筛查在实践中很有吸引力。在一定规则条件下，证明了该方法具有一定的筛选性能。

基于CD的变量筛选方法优点在于：(1)考虑了协变量之间的联合相关性。(2)所提出的正向筛选过程是无模型的，因此对错误模型具有鲁棒性。(3)通过CD来量化均值独立的偏差。CD对条件变量中异常值的存在具有鲁棒性。

8.1 Cumulative Divergence

在通过CD进行变量筛选前，要对CD进行定义。在将要开发的正向筛选程序的每一步中，我们要对变量的独立性进行测试，即

$H_0: E(Y|X)=EY\text{ almost surely}, H_1:\text{otherwise}.$

令 $(\tilde{X}, \tilde{Y})$ 是 $(X, Y)$ 的独立副本，假设 $\operatorname{var}(X)>0$ and $0<\operatorname{var}(Y)<\infty$ ， $\operatorname{supp}(X)$ 表示X的支撑集。有

$\begin{aligned} & E(Y \mid X)=E(Y) \text { almost surely } \\ \Leftrightarrow & E\left(Y \mid X<x_0\right)=E(Y), \text { for all } x_0 \in \operatorname{supp}(X) \\ \Leftrightarrow & \operatorname{cov}\left\{Y, \mathbf{1}\left(X<x_0\right)\right\}=0, \text { for all } x_0 \in \operatorname{supp}(X) \\ \Leftrightarrow & E\left[\operatorname{cov}^2\{Y, \mathbf{1}(X<\tilde{X}) \mid \widetilde{X}\}\right]=0 . \end{aligned}$

这促使我们定义累积协方差(CCov)和CD如下。

$\begin{aligned} & \operatorname{CCov}(Y \mid X) \stackrel{\text { def }}{=} E\left[\operatorname{cov}^2\{Y, \mathbf{1}(X<\tilde{X}) \mid \tilde{X}\}\right] \text { and } \\ & \operatorname{CD}(Y \mid X) \stackrel{\text { def }}{=} \operatorname{Coov}(Y \mid X) / \operatorname{var}(Y) . \end{aligned}$

从上面的定义可以看出，只用到了X的秩的信息，因此CD对于X中异常值是稳健的。
该论文也指出了CD具有一些很好的性质，

(1)CD(Y | X)是检测Y的条件均值函数是否函数上依赖于X的有用度量。当且仅当E(Y | X) = E(Y)时，CD(Y | X) = 0。

(2)CD对于X的严格单调变换是不变的。这个不变性质与E(Y | X) = E{Y | M(X)}这一事实相匹配，然而，其他流行的相关度量不具有这种性质，例如Pearson相关、鞅差或距离相关。这一特性意味着CD对模型错误规范和异常值的存在具有鲁棒性，因为它仅使用X的秩而不是观测值。

(3)当X和Y是联合正态时， $CD(Y|X)=CD(X|Y)=\rho^2/(2\sqrt{3}\pi)$ ，CD与通过Pearson相关ρ的其他流行相关度量密切相关。特别是，Kendall的秩相关(Huber and Ronchetti 2009)等于 $2 \arcsin(\rho)/\pi$ ，鞅差的平方相关等于 $\rho^2\{4(1-\sqrt{3} + \pi/3)\}^{-1/2}$ ，距离的平方相关为 $\{\rho\arcsin(\rho) +(1-\rho^2)^{1/2}-\rho \arcsin(\rho/2)-(4-\rho^2)^{1/2} + 1\} /(1 + \pi/3-\sqrt{3})$ 。

CD的样本版本能被方便的构造，令 $\left\{\left(X_i, Y_i\right), i=1, \ldots, n\right\}$ 为随机样本，则

$\begin{aligned} & \widehat{\operatorname{CCov}}(Y \mid X) \stackrel{\text { def }}{=} n^{-3} \sum_{j=1}^n\left[\sum_{i=1}^n\left(Y_i-\bar{Y}\right)\left\{1\left(X_i<X_j\right)-F_n\left(X_j\right)\right\}\right]^2 , \\ & \widehat{\operatorname{CD}}(Y \mid X)\stackrel{\text { def }}{=} \widehat{\operatorname{CCov}}(Y \mid X) / \widehat{\operatorname{var}}(Y) \end{aligned}$

其中

$\begin{aligned} \bar{Y} & \stackrel{\text { def }}{=} n^{-1} \sum_{i=1}^n Y_i, F_n\left(X_j\right) \stackrel{\text { def }}{=} n^{-1} \sum_{i=1}^n \mathbf{1}\left(X_i<X_j\right) \text { and } \\ \widehat{\operatorname{var}}(Y) & \stackrel{\text { def }}{=} n^{-1} \sum_{i=1}^n\left(Y_i-\bar{Y}\right)^2 . \end{aligned}$

从CD的定义可以看出，CD的值能表示两个变量的独立性，即可以对前面的假设进行检验。

8.2 正向筛选程序

在对CD进行定义后，接下来介绍基于CD的无模型正向变量筛选程序。为方便表示，引入下列符号，Y为响应变量，协变量 $\bg_white \mathbf{x}=\left(X_1, \ldots, X_p\right)^{\mathrm{T}}$ ， $\mathcal{F}$ 为工作索引集， $\mathcal{F}^c$ 为其补集。定义 $\bg_white \mathbf{x}_{\mathcal{F}} \stackrel{\text { def }}{=}\left\{X_k, k \in \mathcal{F}\right\}$ ， $\bg_white \boldsymbol{\Sigma}_{\mathcal{F}} \stackrel{\text { def }}{=} \operatorname{var}\left(\mathbf{x}_{\mathcal{F}}\right)$ ，且假设 $\bg_white E(\mathbf{x})=\mathbf{0}$ 。

特征选择的目标是确定最小的索引集，使

$Y \perp \mathbf{x} \mid \mathbf{x}_{\mathcal{A}}$

其中 $\perp$ 表示独立。所以我们的目标是找出这样一个最小的索引集 $\mathcal{A}$ 。从该目标可以看出，该变量筛选考虑了协变量之间的条件关系，这是第一节中的SIS方法所没有考虑的。前面介绍的CSIS方法考虑了协变量之间的关系，但该方法中条件变量时根据先验信息或者其他方法预先确定的，在变量筛选中是固定的。这里基于累计散度的正向筛选是在正向筛选程序中，一个一个的加入协变量。

根据上面的目标，我们考虑如下假设检验问题，

$H_0: Y \perp X_k \mid \mathbf{x}_{\mathcal{F}} \text { versus } H_1: \text { otherwise. }$

由前面定义可知，当 $\mathcal{A}\subseteq \mathcal{F}$ 时，原假设成立。由于 $E\left\{X_k-E\left(X_k \mid \mathbf{x}_{\mathcal{F}}\right) \mid Y\right\}=E\left\{E\left(X_k \mid \mathbf{x}_{\mathcal{F}}, Y\right)-E\left(X_k \mid \mathbf{x}_{\mathcal{F}}\right) \mid Y\right\}$ ，因此在 $H_0$ 条件下， $E\left(X_k \mid \mathbf{x}_{\mathcal{F}}, Y\right)=E\left(X_k \mid \mathbf{x}_{\mathcal{F}}\right)$ ，即 $E\left\{X_k-E\left(X_k \mid \mathbf{x}_{\mathcal{F}}\right) \mid Y\right\}=0$ 。在 $H_1$ 条件下，在给定 $\mathbf{x}_{\mathcal{F}}$ 时， $X_k$ 依赖于Y，即 $E\left\{X_k-E\left(X_k \mid \mathbf{x}_{\mathcal{F}}\right) \mid Y\right\} \neq 0$ 。根据前面对CD的介绍，可以通过 $\omega_{k \mid \mathcal{F}} \stackrel{\text { def }}{=} \operatorname{CD}\left\{X_k-E\left(X_k \mid \mathbf{x}_{\mathcal{F}}\right) \mid Y\right\}$ 来对假设进行检验。由于 $\omega_{k \mid \mathcal{F}}$ 中涉及了 $E\left(X_k \mid \mathbf{x}_{\mathcal{F}}\right)$ ，该论文假设 $E\left(X_k \mid \mathbf{x}_{\mathcal{F}}\right)=g_{k \mid \mathcal{F}}\left(\mathbf{x}_{\mathcal{F}}, \boldsymbol{\beta}_{k \mid \mathcal{F}}\right)$ ，其中 $g_{k \mid \mathcal{F}}$ 已知， $\boldsymbol{\beta}_{k \mid \mathcal{F}}$ 未知。即将 $E\left(X_k \mid \mathbf{x}_{\mathcal{F}}\right)$ 转变成了参数估计问题。

为了便于表示，假设协变量被边际标准化，即协变量具有零均值和单位方差。可以得到 $\omega_{k \mid} \mathcal{F}$ 的估计为

$\begin{aligned} \widehat{\omega}_{k \mid \mathcal{F}}= n^{-2} \sum_{j=1}^n\left[\sum_{i=1}^n \mathbf{1}\left(Y_i<Y_j\right)\left\{X_{i k}-g_{k \mid \mathcal{F}}\left(\mathbf{x}_{i \mathcal{F}}, \widehat{\boldsymbol{\beta}}_{k \mid \mathcal{F}}\right)\right\}\right]^2 / \sum_{i=1}^n\left\{X_{i k}-g_{k \mid \mathcal{F}}\left(\mathbf{x}_{i \mathcal{F}}, \widehat{\boldsymbol{\beta}}_{k \mid \mathcal{F}}\right)\right\}^2 \end{aligned}$

其中 $\widehat{\boldsymbol{\beta}}_{k \mid \mathcal{F}} \stackrel{\text { def }}{=} \underset{\boldsymbol{\beta}_{k \mid \mathcal{F}}}{\operatorname{argmin}} \sum_{i=1}^n\left\{X_{i k}-g_{k \mid \mathcal{F}}\left(\mathbf{x}_{i \mathcal{F}}, \boldsymbol{\beta}_{k \mid \mathcal{F}}\right)\right\}^2 .$

在 $\widehat{\omega}_{k \mid \mathcal{F}}$ 的值充分大时拒绝原假设。
根据假设检验和特征筛选的目标，我们的目的是构造一个索引集 $\mathcal{F}$ ，来使得原假设成立，即 $\omega_{k \mid \mathcal{F}}=0$ 。为此，该论文借助正向筛选方法来实现，具体步骤如下：

Step 1.给出初始索引集 $\mathcal{F}=\varnothing$ .

Step 2.对所有 $k \in \mathcal{F}^c$ ，计算 $\widehat{\omega}_{k \mid \mathcal{F}}$ 。定义

$k^*=$ $\underset{k \in \mathcal{F} c}{\arg \max } \widehat{\omega}_{k \mid \mathcal{F}}$ ,

若 $\widehat{\omega}_{k^* \mid \mathcal{F}}>v$ ，则更新 $\mathcal{F}$ 为 $\mathcal{F} \cup\left\{k^*\right\}$ 。数据驱动的 $v$ 通过下列程序确定，

(a)生成 $\widetilde{X}_{i k^*}=g_{k^* \mid \mathcal{F}}\left(\mathbf{x}_{i \mathcal{F}}, \widehat{\boldsymbol{\beta}}_{k^* \mid \mathcal{F}}\right)+a_i \widehat{\delta}_{i, k^* \mid \mathcal{F}}, i=1,2, \ldots, n$ ，其中

$\widehat{\delta}_{i, k^* \mid \mathcal{F}}=X_{i k^*}-g_{k^* \mid \mathcal{F}}\left(\mathbf{x}_{i \mathcal{F}}, \widehat{\boldsymbol{\beta}}_{k^* \mid \mathcal{F}}\right)$ ，

$a_i$ 是独立同分布的随机权重 $\operatorname{pr}\left(a_i=1\right)=\operatorname{pr}\left(a_i=-1\right)=1 / 2$ 。通过 $\left\{\left(\widetilde{X}_{i k^*}, \mathbf{x}_{i \mathcal{F}}, Y_i\right), i=1,2, \ldots, n\right\}$ 计算得到 $\widehat{\widetilde{\omega}}_{k^* \mid \mathcal{F}} \stackrel{\text { def }}{=} \widehat{C D}\left\{\widetilde{X}_{k^*}-E\left(\widetilde{X}_{k^*} \mid \mathbf{x}_{\mathcal{F}}\right) \mid Y\right\}$ .

(b)重复上述boostrap程序B次，得到 $\widehat{\omega}_{k^* \mid \mathcal{F}}^{(1)}, \widehat{\omega}_{k^* \mid \mathcal{F}}^{(2)}, \ldots, \widehat{\widehat{\omega}}_{k^* \mid \mathcal{F}}^{(B)}$ 。令 $v$ 是 $\left\{\widehat{\widetilde{\omega}}_{k^* \mid \mathcal{F}}^{(1)}, \widehat{\widetilde{\omega}}_{k^* \mid \mathcal{F}}^{(2)}, \ldots, \widehat{\widetilde{\omega}}_{k^* \mid \mathcal{F}}^{(B)}\right\}$ 的第 $(1-\alpha)$ 上分位数.

Step 3.重复步骤2直到没有变量被添加到索引集 $\mathcal{F}$ 中.

从该变量筛选程序可知，在步骤1中， $\mathcal{F}=\varnothing$ ，此时相当于进行无条件假设检验， $\widehat{\omega}_{k \mid \mathcal{F}}$ 值越大，表明拒绝原假设的把握越大，因此在 $\widehat{\omega}_{k^* \mid \mathcal{F}}>v$ 时选择最大的对应协变量加入到索引集中。在步骤2中，在第k步，已经选择了k-1个变量下标在索引集中，此时，在给定这k-1个变量下，考虑剩余变量与Y是否独立的问题，同样在选择最大的 $\widehat{\omega}_{k \mid \mathcal{F}}$ 且满足 $\widehat{\omega}_{k^* \mid \mathcal{F}}>v$ 对应的k加入到索引集中。在步骤3中，当没有变量被添加到索引集时，表示前面的假设检验中原假设成立，即此时有 $\mathcal{A}\subseteq \mathcal{F}$ 。该论文证明了该变量筛选方法具有确定筛选性质。

Fighting_@

关注

2
点赞
踩
28

收藏

觉得还不错? 一键收藏
5
评论
超高维变量筛选

在所有统计学习工具中，回归分析是最流行的方法之一，被广泛用于响应变量y和一系列协变量x之间的关系进行建模。在文献中各种回归分析的模型和方法都在发展，从经典的线性回归到非参数回归。然而在协变量维数p很大时，大多数回归模型和方法可能会严重受损。从协变量中选择一个预测因子子集是有必要的。在现有研究中，广泛通过变量选择方法进行降维，主要分为两种方法:子集选择方法包括逐步回归(Efroymson 1960)、正向选择、向后选择等；惩罚似然方法包括LASSO，非负garrotte， SCAD，弹性网络等。
复制链接

扫一扫