目录
- 最小二乘法概念
- 最大似然法概念
- 两者的联系
- 总结
一、最小二乘法概念
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。
如果实验数据呈下图蓝点分布,我们想要拟合下图中的变量分布函数,首先选择一个直线模型y=ax+b,想要假设函数与实验数据尽可能的小,那就需要误差的和尽量保持最小,也就是下面这个式子尽量最小
![equation?tex=%5Csum_%7Bi%3D1%7D%5E%7Bm%7D%7B%7C%EF%BC%88ax_%7Bi%7D%2Bb%EF%BC%89-y_%7Bi%7D%7C%7D](https://i-blog.csdnimg.cn/blog_migrate/89a0f161332ef3b9bcf8d6c1c3068e10.png)
那为了消除正负号,我们将绝对值改成平方,
![equation?tex=%5Csum_%7Bi%3D1%7D%5E%7Bm%7D%7B%28%EF%BC%88ax_%7Bi%7D%2Bb%EF%BC%89-y_%7Bi%7D%29%5E%7B2%7D%7D](https://i-blog.csdnimg.cn/blog_migrate/4180ca446cea1858abc689a1e6cb0c5c.png)
那我们只需要对这个误差的平方和函数求导,并且令倒数等于零时,就可以使误差最小了。
那