学习笔记：机器学习之最小二乘法

萌龙如我们

已于 2022-05-21 10:59:07 修改

阅读量410

点赞数

分类专栏：机器学习文章标签：最小二乘法算法机器学习

于 2022-05-09 21:18:33 首次发布

本文链接：https://blog.csdn.net/qq_44635691/article/details/124674399

版权

机器学习专栏收录该内容

15 篇文章 0 订阅

订阅专栏

1.引入

最小二乘法，也叫最小平方法，它是一种可以用于拟合直线和曲线的常用方法。对于简单的回归直线问题，如何根据已知的坐标 $(x_i,y_i)$ 得到最为准确的拟合直线？如何定义出这个“最为准确”？最小二乘法给出了答案。

2.如何将直线y=ax+b刻画为最为准确的直线

由上图可以看到每个坐标点与此时的直线存在一定距离 $d_i$ ,那么可以将所有点与直线的距离都计算出来，所有距离加在一块最小时，代价最小。此时可以说明这条直线是最为准确的，虽然不能保证此时的直线都过每个点，都是此时的误差是最小的。确定这条直线就是确定a,b的取值，它们的确定需要用上述的代价来计算。每个点的代价是两点距离的形式是个差值，但是差值运算起来往往不太方便，就不利于后需求参数a,b,所以此时最小二乘法登场，用代价的平方法去刻画总的代价C。

$C=\sum_{i=1}^{n}(ax_i+b-y_i)$

3.求出C最小时参数a,b

求偏导：

$\left\{\begin{aligned} \frac{ \partial C }{ \partial a }=\sum^n_{i=1}2x_i(ax_i+b-y_i)=0 \textcircled{1}\\ \frac{ \partial C }{ \partial b }=\sum^n_{i=1}2(ax_i+b-y_i)=0\textcircled{2} \\ \end{aligned}\right.$
其中由①可知，点 $(\bar{x},\bar{y})$ 过 $y=ax+b$ ；

可解出来a,b;

$\left\{ \begin{aligned} a&=\frac{\sum_{i=1}^nx_iy_i-n\bar{x}\bar{y}} {\sum^n_{i=1}x_i^2-n\bar{x}^2} \\ b&=\bar{y}-a\bar{x}\\ \end{aligned} \right.$

萌龙如我们

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
学习笔记：机器学习之最小二乘法

1.引入最小二乘法，也叫最小平方法，它是一种可以用于拟合直线和曲线的常用方法。对于简单的回归直线问题，如何根据已知的坐标得到最为准确的拟合直线？如何定义出这个“最为准确”？最小二乘法给出了答案。2.如何将直线y=ax+b刻画为最为准确的直线由上图可以看到每个坐标点与此时的直线存在一定距离,那么可以将所有点与直线的距离都计算出来，所有距离加在一块最小时，代价最小。此时可以说明这条直线是最为准确的，虽然不能保证此时的直线都过每个点，都是此时的误差是最小的。确定...
复制链接

扫一扫