ESL3.2（下）最小二乘法学习笔记（含施密特正交化，QR分解）

3.2（下） 最小二乘法

这是一篇有关《统计学习基础》，原书名The Elements of Statistical Learning的学习笔记，该书学习难度较高，有很棒的学者将其翻译成中文并放在自己的个人网站上，翻译质量非常高，本博客中有关翻译的内容都是出自该学者的网页，个人解读部分才是自己经过查阅资料和其他学者的学习笔记，结合个人理解总结成的原创内容。

原文	The Elements of Statistical Learning
翻译	szcf-weiya
时间	2018-08-21
解读	Hytn Chen
更新	2020-02-12

翻译原文

从简单单变量回归到多重回归

有 $p>1$ 个输入的线性模型 (3.1) 称作 多重线性回归模型．用单 ($p=1$) 变量线性模型的估计能更好理解模型 $(3.6)$ 的最小二乘估计，我们将在这节中指出．

首先假设我们有一个没有截距的单变量模型，也就是

$$Y=X\beta +\epsilon \text{\hspace{1em}(3.23)}$$

最小二乘估计和残差为

$$\begin{array}{rl}\hat{\beta }& =\frac{{\sum }_1^N{x}_i{y}_i}{{\sum }_1^N{x}_i^2}\\ r_i& =y_i-x_i\hat{\beta }\end{array}\text{\hspace{1em}(3.24)}$$

为了简便用向量表示，我们令 $\mathbf{y}=(y_1,\dots ,y_N{)}^T$，$\mathbf{x}=(x_1,\dots ,x_N{)}^T$，并且定义
$$\begin{array}{rl}⟨\mathbf{x},\mathbf{y}⟩& =\sum _{i=1}^N{x}_i{y}_i\\ & ={\mathbf{x}}^{\mathbf{T}}\mathbf{y}\end{array}\text{\hspace{1em}(3.25)}$$

$\mathbf{x}$ 和 $\mathbf{y}$ 之间的内积，于是我们可以写成

$$\begin{array}{rl}\hat{\beta }& =\frac{⟨\mathbf{x},\mathbf{y}⟩}{⟨\mathbf{x},\mathbf{x}⟩}\\ \mathbf{r}& =\mathbf{y}-\mathbf{x}\hat{\beta }\end{array}\text{\hspace{1em}(3.26)}$$

!!! note “weiya 注：原书脚注”
The inner-product notation is suggestive of generalizations of linear regression to different metric spaces, as well as to probability spaces. 内积表示是线性回归模型一般化到不同度量空间（包括概率空间）建议的方式．

正如我们所看到的，这个简单的单变量回归提供了多重线性回归的框架 (building block)．进一步假设输入变量 ${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{\mathbf{p}}$（数据矩阵 $\mathbf{X}$ 的列）是正交的；也就是对于所有的 $j\ne k$ 有$⟨{\mathrm{x}}_{\mathrm{j}},{\mathrm{x}}_{\mathrm{k}}⟩=0$．于是很容易得到多重最小二乘估计 ${\hat{\beta }}_j$ 等于 $⟨{\mathbf{x}}_j,\mathbf{y}⟩/⟨{\mathbf{x}}_j,{\mathbf{x}}_j⟩$ ——单变量估计．换句话说，当输入变量为正交的，它们对模型中其它的参数估计没有影响．

正交输入变量经常发生于平衡的、设定好的实验（强制了正交），但是对于实验数据几乎不会发生．因此为了后面实施这一想法我们将要对它们进行正交化．进一步假设我们有一个截距和单输入 $\mathbf{x}$．则 $\mathbf{x}$ 的最小二乘系数有如下形式

$${\hat{\beta }}_1=\frac{⟨\mathbf{x}-\bar{x}1,\mathbf{y}⟩}{⟨\mathbf{x}-\bar{x}1,\mathbf{x}-\bar{x}1⟩}\text{\hspace{1em}(3.27)}$$

其中，$\bar{x}={\sum }_i{x}_i/N$,且 $N$ 维单位向量 $1=x_0$．我们可以将式 $(3.27)$ 的估计看成简单回归 $(3.26)$ 的两次应用．这两步是：

1. 在 $1$ 上回归 $\mathbf{x}$ 产生残差 $\mathbf{z}=\mathbf{x}-\bar{x}1$;
2. 在残差 $\mathbf{z}$ 上回归 $\mathbf{y}$ 得到系数 ${\hat{\beta }}_1$
   在这个过程中，“在 $\mathbf{a}$ 上回归 $\mathbf{b}$”意思是 $\mathbf{b}$ 在 $\mathbf{a}$ 上的无截距的简单单变量回归，产生系数 $\hat{\gamma }=⟨\mathbf{a},\mathbf{b}⟩/⟨\mathbf{a},\mathbf{a}⟩$ 以及残差向量 $\mathbf{b}-\hat{\gamma }\mathbf{a}$．我们称 $\mathbf{b}$ 由 $\mathbf{a}$ 校正(adjusted)，或者关于 $\mathbf{a}$ 正交化．

第一步对 $\mathbf{x}$ 作关于 ${\mathbf{x}}_0=1$ 的正交化．第二步是一个利用正交预测变量 $1$ 和 $\mathbf{z}$ 简单的单变量回归．图 3.4 展示了两个一般输入 ${\mathbf{x}}_1$ 和 ${\mathbf{x}}_2$ 的过程．正交化不会改变由 ${\mathbf{x}}_1$ 和 ${\mathbf{x}}_2$ 张成的子空间，它简单地产生一个正交基来表示子空间．

正交输入的最小二乘回归．向量 ${\mathbf{x}}_2$ 在向量 ${\mathbf{x}}_1$ 上回归，得到残差向量 $\mathbf{z}$．$\mathbf{y}$ 在$\mathbf{z}$ 上的回归给出 ${\mathbf{x}}_2$ 的系数．把 $\mathbf{y}$ 在 ${\mathbf{x}}_1$ 和 $\mathbf{z}$ 上的投影加起来给出了最小二乘拟合 $\hat{\mathbf{y}}$．

这个方法可以推广到 $p$ 个输入的情形，如算法 3.1 所示．注意到第二步的输入 $\mathbf{z}\_0,\dots ,{\mathbf{z}}_{j-1}$ 是正交的，因此这里计算得到的简单回归的系数实际上是多重回归的系数．

---

算法 3.1 依次正交的回归（施密特正交化）

1. 初始化 ${\mathbf{z}}_0={\mathbf{x}}_0=1$
2. 对于 $j=1,2,\dots ,p$
   在${\mathbf{z}}^{}$