最小二乘法简述

最新推荐文章于 2025-10-20 09:48:20 发布

原创最新推荐文章于 2025-10-20 09:48:20 发布 · 6.5k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #python #机器学习 #深度学习 #神经网络

最小二乘法简述

BY：YANG LIU
1.最小二乘法的作用
（1）用于拟合曲线；
（2）用于求解未知量，使得误差值最小。
2.最小二乘法成立的前提条件
（1）假设系统中无系统误差，误差均为偶然误差。
（2）假设误差符合正太分布，即整个系统最后的误差均值为零。
3.理论解法
测量系统中每个点的测量实际值和曲线拟合值的差的平方和的总和最小。
4.二维例子
假设身高体重，X表示身高，Y表示体重。
已知有四个值（1，6）、（2，5）、（3，7）、（4，10）
问（5，？）。
则最小二乘法求解：
求出已知四个点所构成的拟合曲线，把第五个点带入，就可求出所需结果。
假设此线性方程为y=a+bx;
则有6=a+b、5=a+2b、7=a+3b、10=a+4b；
所要求的就是 ${\sum {({Y_I} - Y)} ^2}$ 得到最小值。
有
$S(a,b) = {(6 - a - b)^2} + {(5 - a - 2b)^2} + {(7 - a - 3b)^2} + {(10 - a - 4b)^2}$ 使此式得到最小值。
转换为多元函数求极值的问题。
在这里插入图片描述
通过上式进行求解最小值，进而得到a=3.5,b=1.4,得到拟合曲线y=3.5+1.4x;进而得到第五个点为（5.10.5）。
5.扩展到n维空间
曲线方程为 $\sum\limits_{i = 0}^n {{\beta _i}{x^i}}$
用线性方程组表示所有数据所形成的曲线有 $A\beta$ ,其中X和Y是实测值数据， $β\beta$ 向量是我们要求的曲线数据。
此时的方向就是得到 $min⁡∣∣Aβ−Y∣∣2\min ||A\beta - Y|{|^2}$ ;就是说使 $Aβ=YA\beta = Y$ ,
A和Y已知，则可求解 $β\beta$ 向量。
由于A不一定可逆，所以有 $ATAβ=ATY{A^T}A\beta = {A^T}Y$ ,可得 $β=(ATA)−1AY\beta = {({A^T}A)^{ - 1}}AY$ 。进而得到拟合曲线。
6.最小二乘法的局限
对噪声容忍度很低，当噪声较多时影响准确率。