机器学习笔记——矩阵的最小二乘法

最小二乘法

1. 简介

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

2. 作用

在线性回归中，最小二乘法与梯度下降算法作用基本相同，都是为了找到一个最优解使得曲线能够较好的拟合实际情况。其本质是求解最小化的均方误差（MSE）

对于给定的特征多项式

在矩阵方面，考虑超定方程组（超定指未知数小于方程个数）：

其中m代表有m个等式，n代表有 n 个未知数 ，m>n ；将其进行向量化后为：

显然该方程组一般而言没有解，所以为了选取最合适的 让该等式"尽量成立"，引入残差平方和函数S:

目的是求解 min S(β)， 即对 S(β) 进行求导运算

（这里令 A = X 即 Aβ = Y）

这里要运用矩阵求导法则：[参考文档] https://blog.csdn.net/crazy_scott/article/details/80557814

因此该方程求导过程即为：

令等式为0 ,即方程的导数为0：

最终得到的β即为最小二乘法所求的最优解，此方程为正规方程（Normal Equation）