充分降维的基本概念与理解

1. 充分降维的概念

本章笔记来自wiki，符号与论文统一

1.1. 概要

• 在统计学中，充分降维(SDR)是一种分析数据的范例，它结合了降维的思想和充分性的概念。
• 有响应变量$Y$和预测变量$X$。回归分析就是去学习$Y|X$的分布。也就是给定$X$求$Y$的条件分布
• $E(y|X=x)=E(a+bx+ϵ|X=x)=a+bx$
• 降维就是一个函数$R(X)$，把$X$映射到${\mathbb{R}}^k$上，其中$k<p$。举个例子，$R(X)$可以是$X$的一个或多个线性组合。
• 一个降维函数$R(X)$倘若能使得$Y|R(X)$的分布与$Y|X$的相同，便被称之充分降维。换言之，在充分降维里，没有因为$X$的维度减少而发生回归信息的丢失
• 高维图形可视化里可用。大多数都是关注涉及$X$的线性组合的降维

1.2. 降维子空间（DRS）

• 假设$R(X)={\beta }^{T}X$是个充分降维的函数。在这里有$\beta \in {\mathbb{R}}^{p\times k}$，且$k\le p$。
• 那么，可以通过研究$Y|{\beta }^{T}X$的分布来推断关于$Y|X$的回归信息。
• 在不失一般性的情况下，可以只考虑$\beta$列向量张成的空间。令$\eta$作为$\beta$的列向量空间的基，然后有$\eta$张成的空间$S(\eta )$
• 根据充分降维的定义，有
  $F_{Y|X}=F_{Y|{\eta }^{T}X}$
  $F$为合适的分布函数
• 另一种写法有
  $Y\perp \perp X|{\eta }^{T}X$
  也就是条件独立。在给定${\eta }^{T}X$的情况下，$Y$条件独立于$X$。这代表了在这一条件下，Y和X内容无关，摘干净了，$Y=y_1,\cdots ,y_n$不会因为$X$而不独立，换言之没有信息损失
• 那么称呼子空间$S(\eta )$为降维子空间【DRS】
  【理解：也就是这整个子空间可以把$X$处理到低维还不丢信息。】
  【${\eta }^T$大小是$\#basis(\beta )\times p$】

1.3. 结构维度

• 对于回归$Y|X$，结构维度$d$是保持$Y|X$的条件分布所必须的$X$的不同线性组合的最小数目【对应论文的$q$】
• 换言之，对应的DRS是$d$维的【其他的DRS维度可以大于d；d是基的个数？】

1.4. 最小降维子空间

• 一个子空间$S$可以被称为$Y|X$的最小降维子空间，如果它是个降维子空间且它的维度不大于$Y|X$的其他DRSs。一个最小子空间$S$未必是唯一的，但是它的维度必然等于$Y|X$的结构维度$d$
• 若$S$有基$\eta$同时是最小DRS，Y与${\eta }^{T}X$的图是个$d+1$维的minimal sufficient summary plot（？）

2. 中心子空间【属于最小降维子空间】

• 如果一个子空间$S$是$Y|X$的DRS，且$S\subset S_{drs}$。这里的$S_{drs}$是指其他全部的DRSs。那么这个子空间$S$就被叫做中心降维子空间，或者就简称中心子空间，使用符号$S_{Y|X}$来代表。
• 换言之，$Y|X$的中心子空间存在 $⟺$ 所有降维子空间的交$\bigcap S_{drs}$是降维子空间。这个交就是中心子空间。
• 中心子空间未必存在。但是若$S_{Y|X}$存在，那么就也是唯一的最小降维子空间。

2.1. 中心子空间的存在性

• 虽然并不是在每种回归情况下都保证中心子空间$S_{Y|X}$的存在，但是有一些相当广泛的条件直接保证了中心子空间的存在。例如，考虑Cook(1998)提出的命题（略）。根据这个命题，对于这样的$X$，中心子空间$S_{Y|X}$存在。

2.2 示例

考虑回归模型
$Y=\alpha +{\beta }^{T}X+\epsilon$。有$\epsilon \perp \perp X$

• 注意$Y|X$与$Y|{\beta }^{T}X$的分布相同。因此$\beta$张成的子空间就是降维子空间。同样的，$\beta$是一维的（除非是0向量），所以这个回归的结构维数是$d=1$
• OLS估计出的$\beta$的估计$\hat{\beta }$是一致的，因此$\beta$张成的空间是$S_{Y|X}$的一致估计量。

---

以上的符号尚未同一

---

3. 充分降维概览

本节来自论文1.2节

3.1. 背景介绍

• 高维稀疏数据结构限制了局部平滑的测试（？）方法，因此维数灾难问题浮出水面然而大多数测试方法不能有效工作。
• 因此使用降维
• 常见的降维方法有SDR（重点），偏最小二乘法，主成分分析
• 充分降维面对的是

1. 处理数据结构的稀疏性且没有预先指定的参数化模型结构
2. 不丢失任何关于$Y$关于$X$回归的信息

• 做法是将原始数据投影到低维子空间

3.2. 定义

• $S_{Y|X}$代表中心子空间，定义为满足
  $Y\perp \perp X|P_{S}X$
  的所有子空间S的交集
• 上式中$P_{(\cdot )}$代表投影操作，就是指示关于标准内积的投影运算符。$P_S$对标wiki中的${\eta }^T$【也就是$P_S$大小为$\#basis(\eta )\times p$】
• 条件均值记作$E(Y|X)$
• $S_{E(Y|X)}$是中心均值子空间，实际是所有子空间$S$的交，使得
  $Y\perp \perp E(Y|X)|P_{S}X$
• 在任何情况下，充分的降维使得我们可以找到$q\le p$个新的预测因子，可以写成原始预测因子的线性组合:
  ${\beta }_1^{T}X,\cdots ,{\beta }_q^{T}X$
  ${\beta }_i$，$i=1,\cdots ,q$被视为中心子空间亦或者中心均值子空间的基

3.3 进展

• 逆回归
• 直接回归
• 相关方法如傅里叶方法

3.4. 缺陷

• 逆回归方法实现简单，应用广泛。但这些方法都需要较强的预测条件，如线性条件或恒条件方差条件，甚至不能全面实现中心子空间的一致估计
• 相反，直接回归方法对预测因子的分布要求较弱，在有限样本中表现得更好。然而，这些方法除了寻找中心平均子空间外没有其他方向，计算量大