学习笔记：机器学习之最小二乘法

萌龙如我们

已于 2022-05-21 10:59:07 修改

阅读量482

点赞数

分类专栏：机器学习

于 2022-05-09 21:18:33 首次发布

本文链接：https://blog.csdn.net/qq_44635691/article/details/124674399

版权

最小二乘法拟合直线误差最小化回归分析数学建模

关键词由CSDN通过智能技术生成

机器学习专栏收录该内容

15 篇文章

订阅专栏

1.引入

最小二乘法，也叫最小平方法，它是一种可以用于拟合直线和曲线的常用方法。对于简单的回归直线问题，如何根据已知的坐标 $(x_i,y_i)$ 得到最为准确的拟合直线？如何定义出这个“最为准确”？最小二乘法给出了答案。

2.如何将直线y=ax+b刻画为最为准确的直线

由上图可以看到每个坐标点与此时的直线存在一定距离 $d_i$ ,那么可以将所有点与直线的距离都计算出来，所有距离加在一块最小时，代价最小。此时可以说明这条直线是最为准确的，虽然不能保证此时的直线都过每个点，都是此时的误差是最小的。确定这条直线就是确定a,b的取值，它们的确定需要用上述的代价来计算。每个点的代价是两点距离的形式是个差值，但是差值运算起来往往不太方便，就不利于后需求参数a,b,所以此时最小二乘法登场，用代价的平方法去刻画总的代价C。

$C=\sum_{i=1}^{n}(ax_i+b-y_i)$

3.求出C最小时参数a,b

求偏导：

$\left\{\begin{aligned} \frac{ \partial C }{ \partial a }=\sum^n_{i=1}2x_i(ax_i+b-y_i)=0 \textcircled{1}\\ \frac{ \partial C }{ \partial b }=\sum^n_{i=1}2(ax_i+b-y_i)=0\textcircled{2} \\ \end{aligned}\right.$
其中由①可知，点 $(\bar{x},\bar{y})$ 过 $y=ax+b$ ；