最小二乘法（Ordinary Least Squares）

       最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。[1](百度百科)

来源：https://baike.baidu.com/item/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E4%BC%B0%E8%AE%A1%E6%B3%95/8019852?fr=aladdin

1、举个小例子

有四个数据点（1,6）、（2,5）、（3,7）、（4,10）

超定线性方程组  y = β1*x + β2

β1*1 + β2 = 6

β1*2 + β2 = 5

β1*3 + β2 = 7

β1*4 + β2 = 10

误差s = [6-（b1+b2）]^2+[5-(β1*2 + β2 )]^2+[7-(β1*3 + β2)]^2+[10-(β1*4 + β2 )]^2

(1)        -(12-2b1-2b2)-4(5-2b1-b2)-6(7-3b1-b2)-8(10-4b1-b2)=0

(2)       

b1= 1.4,b2=3.5

y=1.4x+3.5是最佳的

这就是最小二乘法的解法，就是求得平方损失函数的极值点

——————————————————————

总误差的平方为：

不同的 会导致不同的 ，根据多元微积分的知识，当：

这个时候 取最小值。

——————————————————————

 

 

2、