线性回归——最小二乘求解

线性回归
线性回归用于数值预测，它的主要思想是利用预定的权值将属性进行线性组合来表示类别：
$y = w_0 + w_1x_1 + w_2x_2 + ... + w_nx_n$
其中，y是类别属性值，$x_1, x_2, ..., x_n$是一般属性值，$w_1, w_2, ..., x_n$是权值， $w_0$称为偏置，类似于一元线性回归$y = ax + b$中b。
求解线性回归就是通过已知的一些数据点
$(1, x_1^{i} , x_2^{i}, ..., x_n^{i}, y^{i})$
算出权重$(w_0, w_1, ..., w_n)$。在属性集合中加了一个1，是为了与权重$w_0$对应，属性值的上标i，是指这个属性值属于第i个数据点。

最小二乘求解线性回归
假设我们已知m个数据点的属性值，我们便有了包含m个方程的方程组：
$y^{1} = w_0 + w_1x_1^{1} + w_2x_2^{1} + ... + w_nx_n^{1}$
$y^{2} = w_0 + w_1x_1^{2} + w_2x_2^{2} + ... + w_nx_n^{2}$
…
$y^{m} = w_0 + w_1x_1^{m} + w_2x_2^{m} + ... + w_nx_n^{m}$
方程组可以表示为矩阵形式：

$$\left[ \begin{matrix} y^{1} \\ y^{2} \\ \vdots \\ y^{m}\\ \end{matrix} \right] =\left[ \begin{matrix} 1 & x_1^{1} & \cdots & x_n^{1} \\ 1 & x_1^{2} & \cdots & x_n^{2} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_1^{m} & \cdots & x_n^{m} \\ \end{matrix} \right] \left[ \begin{matrix} w_0\\ w_1 \\ \vdots \\ w_n \\ \end{matrix} \right]$$
其中，
$$\left[ \begin{matrix} y^{1} \\ y^{2} \\ \vdots \\ y^{m}\\ \end{matrix} \right]$$
称为观测向量，
$$\left[ \begin{matrix} 1 & x_1^{1} & \cdots & x_n^{1} \\ 1 & x_1^{2} & \cdots & x_n^{2} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_1^{m} & \cdots & x_n^{m} \\ \end{matrix} \right]$$
称为设计矩阵，
$$\left[ \begin{matrix} w_0\\ w_1 \\ \vdots \\ w_n \\ \end{matrix} \right]$$
称为参数向量。
这里假设设计矩阵的各列线性无关，也就是说，用于表示 $y$的其它属性各贡献了不同方向的力量。
我们知道，当$m \leq n + 1$时，通过消元法，就能求出 $(w_0, w_1, ..., w_n)$，有一个解，或者多个解；但是当 $m > n + 1$时, 方程可能无解，这时设计矩阵的列向量生成了 $R^{(n + 1)}$的一个子空间，也就是设计矩阵的列空间，当观察向量属于列空间时，方程组有解，但是当观测向量不属于列空间时，方程组就没有解了。当方程组没解时，我们该怎么办呢？算近似解。这儿，我们用列空间中离观测向量最近的向量代替观测向量求解方程组。列空间中离观测向量最近的向量就是观测向量列空的正交投影。关于这个结论有一个定理：
假设W是 $R^n$空间中的一个字空间， $y$是$R^n$中的任意向量， $y'$是y在W上的正交投影，那么 $y'$是W中最接近 $y$的向量，也就是说，
$|y-y'| \leq |y-v|$
对所有属于W又异于 $y'$的v都成立。其中|y-y’|是指向量 $y-y'$的模，它的计算公式是：
$\sum_{k=1}^{n}(y^1 - y^{1'})^2$
使得这个公式的值最小便是“最小二乘”这个名字的由来。
在我们这里， $y$是观测向量，$y'$就是列空间中用来代替 $y$的向量，叫做预测向量。
接下来的重点就是算观测向量在设计矩阵列空间的正交投影了。我这里简要地给出求一个向量在一个空间中正交投影的计算方法。
如果${\{u_1, u_2, ..., u_p\}}$是 $R^n$中子空间W的单位正交基，那么
$proj_wy = (yu_1)u_1 + (yu_2)u_2 + ... + (yu_p)u_p$
其中， $u_i$都是向量。
要得到设计向量列空间的单位正交基，可以通过把设计矩阵进行QR分解得到。关于QR分解的定理如下：
如果 $m$ x $n$矩阵A的列向量线性无关，那么A可以分解为 $A=QR$, 其中Q是一个 $m$ x $n$矩阵，其列形成A矩阵列空间的一个单位正交基，R是一个 $mn$ x n <script id="MathJax-Element-295" type="math/tex">n</script>可逆矩阵且在对角线上的元素为正数。

参考资料：
1.《概率导论》第2版，（美）伯特瑟卡斯，（美）齐齐克利斯 著，郑忠国，童行伟 译
2.《数据挖掘 实用机器学习工具与技术》第3版，
（新西兰）威滕（Witten,I.H.），（新西兰）弗兰克（Frank,E.） 著，董琳 译
3.《线性代数及其应用》第3版，（美）莱（Lay,D.C.） 著，刘深泉 等译