机器学习算法---最小二乘法&&正规方程

转载请注明出处

引题

在Ng机器学习课程上介绍了除梯度下降求最优值的另外一种方法“正规方程”，但是Ng没有给出具体的推导过程。于是，参考多方资料并结合自己的理解，现给出三种方法的推导。

引用：《矩阵分析引论》、《数理统计与多元统计》、《机器学习》

先验知识充能

线性方程组无解

线性方程组分为齐次线性方程组和非齐次线性方程组，前者方程组等式的右边全为0的方程组，后者方程组等式的右边不为0的方程组。如果找不到一组未知数的解满足该方程组，则称该方程组无解。

判断方程组是否无解

高斯消元法
该方法，在本科《线性代数》中都所介绍，将非齐次线性方程组中的系数加上等式右边的数组成一个矩阵（增广矩阵）。使用高斯消元法化简，得到阶梯矩阵。若阶梯矩阵中系数矩阵有一行全为0且等式右边的值不为0，则该方程组无解。
矩阵秩
秩 》》》》》矩阵经过初等变换后的非零行行数或非零列列数。
如果系数矩阵的秩$r(A)$小于增广矩阵的秩$r(A,b)$,则方程组无解。

点到子空间的距离

设 $V$是欧氏空间，又$\alpha ,\beta \in V$,则向量$\alpha -\beta$的长度$|\alpha -\beta |$ 称为向量$\alpha$与$\beta$的距离。

在初等几何里，点到直线或者平面上所有点的距离以垂线最短，并且欧氏空间的一个指定向量和一个子空间W的各个向量距离也以“垂线最短”。

最小二乘法推导过程

问题定义：设给定无解的线性方程组$AX=B$，这里$A=(a_{ij}{)}_{s\times n},B=(b_1,b_2,,,,b_s{)}^T,X=(x_1,x_2,,,,,x_n{)}^T$,因为这方程组无解，设法找出一组数$x_1^0,x_2^0,,,,,x_n^0$,使得平方误差$$\delta =\sum _{i=1}^s(a_{i1}{x}_1+a_{i2}{x}_2+....+a_{in}{x}_n-b_i{)}^2$$ 最小。这组数称为此方程的最小二乘解，这一方法叫做最小二乘法。

转换问题： 设 $Y=AX$，则Y为$s$维的列向量，上述偏差也可以表示为$|Y-B{|}^2$。而最小二乘法就是要找出一组数使得Y列向量与B列向量距离最小。

假设： $A=(a_1,a_2,,,,a_n)$，$a_i$ 表示A的第 $i$ 列向量。则有 $$Y=k_1{a}_1+...+k_n{a}_n$$

显然，$Y\in L(a_1,a_2,,,,,a$