机器学习-（手推）线性回归1-最小二乘法（矩阵表达）、几何意义

一、最小二乘法（矩阵表达）误差平均分散每个样本

如下数学推到过程（手推！！！）：

数据介绍：

D{(x1,y1),(x2,y2),......(xn,yn)，

Xi（P维列向量）-默认列向量

Yi-属于实数（i=1,2,3，.......n）

 X数据集-矩阵表示

Y数据集-矩阵表示

 最小二乘法的推到过程（手推！！！） 

备注：L(w)每一项算出来的都是实数，所以后面推到中间两项可以合并的 

目标：求w的最优解使得L(w)最小。（涉及到矩阵求导）

二、最小二乘法（几何解释）误差分布在p个维度上

下面是拟合回归直线方程

解释：Y向量与Xi 形成的P维空间（x1，x2.......xn）。我们的目标是在P维空间找到一条离Y最近的一个向量（个人理解就是Y在P维空间上的投影，而这个投影其实就是x1......xn的线性组合）

垂直于Xi 形成的P维空间的向量为：（Y-xβ）与投影向量垂直

 即：

 （备注：如下）

 总结：从两个不同的角度对误差进行分析，得到的最终目标w和β的值一模一样，而所求的值就是最终的值即可以使目标得到最优解的值。