【机器学习基础】Least squares最小二乘法

最小二乘法是求线性回归问题最基础的方法之一，最近花了一点时间深入研究了一下，然后简单的整理一下思路。

先从一个简单的例子开始，对于点A（1，1），B（2，2），C（3,2）
拟合出一条直线 y = C + D x

首先我们把这三个点带入直线方程，写成矩阵的形式。

现在得到一个矩阵方程

通过矩阵我们得到了两个方程，两个变量对应两个方程组，这样我们可以分别解出这两个方程组，对于斜率D，我们可以得到

通过观察，我们继续对D进行变形，

这样我们就得到了求解斜率的公式。同理，我们也可以得到C的公式。