QR分解与线性回归

1 一元回归与多元回归

任何一本初级水平的计量经济学、统计学或机器学习相关书籍，都会详细推导多元线性线性回归的解，在这里就不再赘述。

我们给出本文用到的一些设定。$y$为$N$维因变量向量，假设$y=X\beta +ϵ$，如果自变量为$p$维，将$X$排为$N\times (p+1)$矩阵，其中第一列$x_{\cdot 0}=1_N$为全是$1$的截距项，我们有最小二乘估计：
$$\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }y$$

如果是单变量回归，并且没有截距项的话，将自变量记为$N$维向量$x$，$y=x^{\prime }\beta$中$\beta$的最小二乘估计为
$$\hat{\beta }=\frac{x^{\prime }y}{x^{\prime }x}$$

二者有何联系？如果在多变量回归中，$X$的列向量相互正交即$X^{\prime }X$为对角矩阵，则可以得出，每个系数的估计值为${\hat{\beta }}_j=\frac{x_{\cdot j}^{\prime }y}{x_{\cdot j}^{\prime }{x}_{\cdot j}}$。

这给了我们一种启示，能否构造出相互正交的一些维度？

2 Gram–Schmidt过程

我们用如下过程计算${\hat{\beta }}_p$：

1. $z_{\cdot 0}=$