python最小二乘法_最小二乘法（least sqaure method）

文章结构如下：

1： 最小二乘法的原理与要解决的问题

2 ：最小二乘法的矩阵法解法

3：最小二乘法的几何解释

4：最小二乘法的局限性和适用场景

5： 案例python实现

6：参考文献

1： 最小二乘法的原理与要解决的问题

最小二乘法是由勒让德在19世纪发现的，形式如下式：

观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子，比如我们有

个只有一个特征的样本：

样本采用一般的

为

次的多项式拟合，

为参数

最小二乘法就是要找到一组

使得

(残差平方和) 最小，即，求

2 ：最小二乘法的矩阵法解法

最小二乘法的代数法解法就是对

求偏导数，令偏导数为0，再解方程组，得到

。矩阵法比代数法要简洁，下面主要讲解下矩阵法解法，这里用多元线性回归例子来描：

假设函数

的矩阵表达方式为：

其中， 假设函数

为

的向量,

为

的向量，里面有

个代数法的模型参数。

为

维的矩阵。

代表样本的个数，

代表样本的特征数。

损失函数定义为