Dive Into Linear Regression

翻开每一本机器学习的书，第一章都是线性回归，相信接触过机器学习或学过统计学的都对线性回归有所了解，无非就是在一个空间上有多个样本点，目标寻求一条直线尽可能拟合所有样本点，换句话说就是最小化样本点的拟合值与实际值之间的误差。
OK，那就从简单的解线性方程组开始吧！（可能会觉得过于简单，但后面一步步的推倒简直精彩！）

为了阅读起来清晰，先把问题留在开头：
1.怎么求解$AX=b$（A是矩阵，X，b是向量）
2.何时X无解，且无解怎么办！
3.怎么应用到线性回归中
4.最小二乘法又是怎样？

$\{\begin{array}{l}x+2y+z=2\\ 3x+8y+z=12\\ 4y+z=2\end{array}$ 对与这个方程组计算好的一眼就看出了答案，如果用矩阵表示即是

$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]$$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$ = $\left[\begin{array}{c}2\\ 12\\ 2\end{array}\right]$ 所以也就是$AX=b$，$A$也就是左边对应的矩阵，x,y,z就是我们要求的$X$。
那么问题是怎么求解？
A common method is do elimination!
具体如何消元就不详细说了，就是行之间的加减罢了(combination of rows)
$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]$ -----------消元后-------->$\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]$当然这不是一个最简结果(但对于我们这个问题已经足够了)，消元后得到了一个上三角矩阵，记为U，所以原问题$AX=b$可转换为$UX=b$，很容易就可以解出$X$！
那么我们的第二个问题来了，对于所有的b，都能解出$X$吗？？？

再来仔细研究一下$U$，很明显从U中可以得知有3个主元(pivots),因此该矩阵的秩(rank)为3，（秩 = 主元数量）。进一步可以推理出$U$是一个三维的空间（空间维度 = 秩），因此U其实表示了一整个三维的空间，注意在这里用的是空间(space)，而不仅仅是$U$中的三个列向量！ 而$X$的作用仅仅是告诉我们对于$U$表示的这个空间要如何线性组合，$b$是一个三维的向量，因此$b$其实是位于三维空间内！所以只要对$U$组合正确，结果必能得到$b$，而$U$是由$A$变换而来，并不影响$A$的性质，因此对A来说，也一定存在$X$，要时刻记住$X$只是表示如何组合向量，与向量本身存在的空间无关！能够使得$AX=b$!
那$A$的空间(列空间)怎么表示？，以知$A$的每一列都是主列(pivots column)，也就是含主元的列，所以A中的每一列都可以做为基(basis)来表示$A$的空间:
$$C(A)=c1\ast \left[\begin{array}{c}1\\ 3\\ 0\end{array}\right]+c2\ast \left[\begin{array}{c}2\\ 8\\ 4\end{array}\right]+c3\ast \left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$$
$C(A)$表示有矩阵A构成的列空间，也就是矩阵A中的向量存在的空间。
OK以上是有解的情况，那什么时候无解？
当A(A是3*3矩阵)是在二维空间上，意味这A中有一行是线性相关，通过消元后可以把一行都消零，因此实际就剩下了两个方程组三个变量，所以不是所有的b都有解。
比如以下这种情况：
$AX=\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 2& 4& 2\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}b1\\ b2\\ b3\end{array}\right]$
通过对A消元得到$U=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 0\end{array}\right]->UX=x\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]+y\left[\begin{array}{c}2\\ 2\\ 0\end{array}\right]+z\left[\begin{array}{c}1\\ -2\\ 0\end{array}\right]$，可以看到最后一行全为0，因此无论$X$取什么什么值，当前仅当$b3=0是才有解！$如果$b3$不为0，则不可能能解出$X$(因为$b3=x\ast 0+y+0+z\ast 0$)
因此可以得到一个结论：对于一个$m\ast n$的矩阵A
$\{\begin{array}{l}Rank(A{)}_{max}=n\\ Rank(A{)}_{max}=n\\ Rank(A{)}_{max}=m=n\end{array}$
那无解怎么办？？
实际应用中，通常为了提高结果的可信度，通常方程组的个数会远大于变量的个数，因此X通常是无解的！
还记得以上将矩阵A表示的实际上是一个空间，习惯性以列为基(basis)，因此也称作列空间(column space)，假设已经直到对于b已经解不出来了，但一定要解出一个X，怎么办？
自然会想到找最接近真实值的X，那什么时候才能找到最优解X？
所以问题转换成找最优解X，以下记为$\hat{X}$，前提条件是该最优解对应的$\hat{b}$有解。
向量到一个空间最近的距离也就是将该向量投影到空间上！
假设向量$b$在列空间$A$上的投影为向量$p$，向量$b$到列空间A为向量$e$，如图所示
向量$e$垂直于列空间$A$，e垂直于矩阵A中的每一列向量，假设$A=\left[\begin{array}{ccc}|& |& \\ a_1& a_2& \\ |& |& \end{array}\right]$，$\hat{X}=\left[\begin{array}{c}\widehat{x_1}\\ \widehat{x_2}\end{array}\right]$，则有$p=\widehat{x_1}{a}_1+\widehat{x_2}{a}_2=A\hat{X}$(因为$p$是在A的空间上，可有A中向量线性组合得到). $e=b-p=b-A\hat{X}$，所以有：
$$\{\begin{array}{l}{a_1}^T(b-A\hat{X})=0\\ {a_2}^T(b-A\hat{X})=0\end{array}$$
写成矩阵就是$A^T(b-A\hat{X})=0$, 因此$A^{T}A\hat{X}=A^{T}b$，所以解出$\hat{X}=(A^{T}A{)}^{-1}{A}^{T}b$（千万不能和数值运算一样直接除！）进一步解出$p=A\hat{X}=A(A^{T}A{)}^{-1}{A}^{T}b$!

OK所有数学推倒就到此算是告一段落，记住这个$\hat{X}=(A^{T}A{)}^{-1}{A}^{T}b$，下面会用另一种方法,也就是微分法（涉及最小二乘法）求解线性方程组AX = b，你会惊奇的发现结果…（反正我是高兴得站起来了哈哈）！

那怎么应用到线性回归中？
通常为了提高模型的可信度，训练样本通常要远大于特征数(体现在系数矩阵上就是行数远大于列数)，方程数远大于未知量，因此不一定存在解，所以就出现了以上$AX=b$无解的情况，这时以上的推倒就派上用场了！

接下来将另一种解法，也就是目前主流的最小二乘法，利用求微分的思想得到最优解：
OK接下来又是一堆的数学推倒了，在推倒之前为了方便计算定义了以下几个符号:
注： A B都是矩阵！
（1）$trA={\sum }_i^n{A}_{ii}$（对角线之和)
$tr(AB)=tr(BA)$
$tr(ABC)=tr(CAB)=tr(BCA)$

（2）假设f(A) = $tr(AB)$
$\frac{\partial f}{\partial A}=\frac{\partial tr(AB)}{\partial A}$

（3）$tr{A}^T=trA$
（4）if a∈R, tra = a
（5）$\frac{\partial tr(AB{A}^{T}C)}{\partial A}=CAB+C^{T}A{B}^T$
具体推倒就不推了，能推到天亮。。。。。
接下来就是线性回归的推倒：
假设$\Theta =[{\theta }_1,{\theta }_2,{\theta }_3,{\theta }_4,....,{\theta }_m]$,$X=[x^{(1{)}^T},x^{(2{)}^T},x^{(3{)}^T},\dots \dots ,x^{(n{)}^T}]$,其中$x^{(i{)}^T}$代表第i组数据，$x^{(i{)}^T}=[x_1^{(i{)}^T},x_2^{(i{)}^T},x_3^{(i{)}^T},\dots \dots ,x_m^{(i{)}^T}];$ $y=[y^{(1)},y^{(2)},y^{(3)},\dots \dots ,y^{(n)}];$ $y^i$代表第i个数据的真实标签；
$\Theta X=\left[\begin{array}{c}{\theta }_1{x}_1^{(1)}+{\theta }_2{x}_2^{(1)}+\dots \dots +{\theta }_m{x}_m^{(1)}\\ {\theta }_1{x}_1^{(2)}+{\theta }_2{x}_2^{(2)}+\dots \dots +{\theta }_m{x}_m^{(2)}\\ {\theta }_1{x}_1^{(3)}+{\theta }_2{x}_2^{(3)}+\dots \dots +{\theta }_m{x}_m^{(3)}\\ \dots \dots \\ {\theta }_1{x}_1^{(n)}+{\theta }_2{x}_2^{(n)}+\dots \dots +{\theta }_m{x}_m^{(n)}\end{array}\right]=\left[\begin{array}{c}{h}_{\theta }(x^1)\\ h_{\theta }(x^2)\\ h_{\theta }(x^3)\\ \dots \dots \\ h_{\theta }(x^n)\end{array}\right]$，
$\Theta X-y=\left[\begin{array}{c}{h}_{\theta }(x^1)-y^{(1)}\\ h_{\theta }(x^2)-y^{(2)}\\ h_{\theta }(x^3)-y^{(3)}\\ \dots \dots \\ h_{\theta }(x^n)-y^{(n)}\end{array}\right]$
最小二乘法得到代价函数（具体看线性回归的概率解释）$J(\Theta )=1/2{\sum }_i^n[h_{\theta }(x^i)-y^i{]}^2$;
写成矩阵的形式就是:$J(\Theta )=1/2(\Theta X-y{)}^T(\Theta X-y)$
目的求J(Θ)最小值，也就是使得误差最小，${\nabla }_{\theta }J(\Theta )=0$
${\nabla }_{\theta }J(\Theta )=1/2\ast {\nabla }_{\theta }1/2(\Theta X-y{)}^T(\Theta X-y)$
$=1/2{\nabla }_{\theta }({\Theta }^T{X}^{T}X\Theta -{\Theta }^T{X}^{T}y-y^{T}X\Theta +y^{T}y)$
真的要推这个公式吗，我有点犹豫了。。。
好吧推一下吧;
$y^{T}y$于Θ无关，因此${\nabla }_{\theta }{y}^{T}y$=0;
所以
${\nabla }_{\theta }J(\Theta )=1/2{\nabla }_{\theta }({\Theta }^T{X}^{T}X\Theta -{\Theta }^T{X}^{T}y-y^{T}X\Theta )$
$=1/2[{\nabla }_{\theta }tr(\Theta {\Theta }^T{X}^{T}X)-{\nabla }_{\theta }tr({\Theta }^T{X}^{T}y)-{\nabla }_{\theta }tr(y^{T}X\Theta )]$
又因为$trA=tr{A}^T$，所以
${\nabla }_{\theta }J(\Theta )=1/2[{\nabla }_{\theta }tr(\Theta {\Theta }^T{X}^{T}X)-{\nabla }_{\theta }tr(y^T\Theta X)-{\nabla }_{\theta }tr(y^{T}X\Theta )]$

接下来有个小小的trick:${\nabla }_{\Theta }tr(\Theta {\Theta }^T{X}^{T}X)={\nabla }_{\Theta }tr(\Theta e{\Theta }^T{X}^{T}X)$,
e是单位向量，这时候把$X^{T}X当成一个整体C$
满足了${\nabla }_{\theta }tr(\Theta e{\Theta }^T{X}^{T}X)=X^{T}X\Theta e+X^{T}X\Theta e^T$
=$X^{T}X\Theta +X^{T}X\Theta$
${\nabla }_{\theta }tr(y^{T}X\Theta )=X^{T}y$,由${\nabla }_{A}tr(AB)=B^T$得到！

所以${\nabla }_{\theta }J(\Theta )$可以改写为$1/2(X^{T}X\Theta +X^{T}X\Theta -X^{T}y-X^{T}y)$
令${\nabla }_{\theta }J(\Theta )=0$,则$X^{T}X\Theta =X^{T}y$
解得$\Theta =(X^{T}X{)}^{-1}{X}^{T}y$
惊喜吗，意外吗，hhhhhhhhhhh
这和我们前面解得的结果一模一样；简直了！！！
这里有个小小的问题，为什么$(X^{T}X{)}^{-1}不写成X^{-1}(X^T{)}^{-1}$，那这样$\Theta =(X^{T}X{)}^{-1}{X}^{T}y=X^{-1}y$?
$(X^{T}X{)}^{-1}=X^{-1}(X^T{)}^{-1}$仅当X是可逆方阵才成立，还记得$X$代表什么吗，$X$是一个样本集，通常情况下样本数远大于特征数(也就是函数远大于列数),所以X不可能是方阵，因此上式也就不成立了！
其实这在第一个投影的证明中的最后一个式子也是这个原理，当A是可逆方阵时，说明b必定存在于X的空间上，因此对b的投影仍然在A的空间上！

小小的总结：
无论是投影还是求微元，实际上都是求一个近似解使得误差最小，但通过投影的方法其实能够更好的理解线性代数的精髓，不得不吹一下mit的线代，天哪太厉害了！