线性回归和最小二乘

1.      线性回归的问题：

 

仍然使用andrew NG 机器学习课程中的第一个例子， 房价预测。 这里每个房屋有使用面积和卧室数两个属性， 在训练集中我们当然也有每个房间的价格。

我们学习的目标是找到

 向量Θ，使得对每一个X_i有：Θ * X = Y_i，对于所有的训练样本，构成矩阵A；A中第一列为全 1 ，使得：

就是要找到 A*Θ = y 的解；

如果所有的样本都在一条直线上， 那么这个解是存在的 ，但是如上图所示这些样本并没有在一条直线上，所以这个问题可以转为求A*Θ= y 的最小二乘解。

2.      最小二乘问题：

对大型方程组求解，通常会写成Ax = b 的形式，其中A 为系数矩阵， x为要求解的变量构成的向量， b是方程组中“=”右边的值构成的向量。

如果该方程组没有解，而我们又需要求解时一个好的办法就是用最近似的解来代替，使得Ax 尽可能接近b。最小二乘问题就是找出使得|b-Ax|尽量小的x；

 

定义：

 如果m*n 矩阵A和向量b属于Rⁿ  ， Ax = b 的最小二乘解时Rn 中的x^*， 使得

|b-Ax^*| <=|b-Ax| , 对所有x∈Rⁿ 成立。

矩阵A乘向量x， 是A种列向量的线性组合，求解Ax= b的过程就是找到一个A中列向量的线性组合使得这个线性组合能得到b，但是如图所示， b不在A的列向量构成的平面上（下称A平面），也就是Ax = b 无解。该方程组的最小二乘解就是找到一个A的线性组合x^*, 使得该线性组合离向量b尽可能近。明显，这个新的线性组合必然在A的列向量构成的平面上。在该平面上离b最近的点当然是b在该平面上的映射，在图中为p。

图中e 可以表示为 b-p ， 由于e是从b向A平面的垂直线， 所以e垂直于A平面中的所有直线 ， 也就正交于A矩阵中的所有列向量。

有

A^T(b-Ax^*)  = 0

A^Tb-A^TAX^*=0

A^Tb  =  A^TAX^*

X^{* = (}A^TA^)-1A^Tb