机器学习实战(基于scikit-learn和TensorFlow)学习心得(16)--最小二乘法求解线性回归以及多元线性回归参数

所谓线性回归方程其实就是最简单的一元方程,而我们需要做的就是找到那个最好的斜率使得这条线离所有的点的距离之和最小.用数学的说法是使所有点到直线的距离的均方差最小.

上面是一组散点,我们想找到一条直线最契合这些散点的走向.

上面就是这条曲线.
那么我们相求得这个斜率就得使用正规方程组求解.

这个方程式怎么来的呢?
首先均方差的方程是

根据矩阵的公式

我们可以把MSE的公式拆成

那么求得上述等式右面的最小值就是求得上述等式左面的最小值.

推导过程如下,对于这个推导过程我可以解释一下.首先从第二部到第三步为什么能直接加上tr求迹是因为第二步里面的矩阵相乘的结果是一个1*1的矩阵,换句话说就是一个单一的实数.而对于一个实数:A=tr(A)等式成立.从第三步到第四步需要用到比较麻烦的矩阵变换以及矩阵迹的求导,我并没有太看懂.从第四部到第五步也是需要使用矩阵变换.总之最后就变成了这个式子了.
没看懂没关系.我用比较简单的方法求得这个式子,简单到我看得懂而且理解的了.
以下部分引用自GBF1996

展开后得



以上只是一种计算方式.

有一个视频讲这个讲的很好,可以参考