最小二乘法：求回归直线方程

最新推荐文章于 2024-08-04 19:51:15 发布

wangqianqianya

最新推荐文章于 2024-08-04 19:51:15 发布

阅读量2.8w

点赞数 3

分类专栏：机器学习文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/wangqianqianya/article/details/82960410

版权

机器学习专栏收录该内容

26 篇文章 6 订阅

订阅专栏

最小二乘法：使离差平方和（i=1~n） ∑（yi-yi'）最小的方法

结论：设回归方程为y'=bx+a;解得

回归直线方程：在一组具有相关关系的变量与数据的（x，y）间，最能体现x,y关系的直线（一条尽可能接近所有数据点的直线）

设回归方程为y'=bx+a;

要使直线最拟合，则使（i=1~n） ∑（yi-yi'）最小，但yi-yi'可能为负，无法正确反映整体数据的切合程度，所以用平方，使得∑（yi-yi'）^2最小,由n组xi,yi,最终解得

线性回归中的最小二乘法

线性回归模型

$f(x)=w_{1}x_{1}+w_{2}x_{2}+...+w_{d}x_{d}+b = W^{T}X+b$

用最小二乘法最小化残差得损失函数为 $E(W,b)=\sum_{i=1}^{m} (f(x)-y_{i})^{2}=\sum_{i=1}^{m} (W^{T}X+b-y_{i})^{2}$

最小化误差： $(W^{*},b^{*})=arg min\sum_{i=1}^{m} (W^{T}X+b-y_{i})^{2}$

分别对W,b求偏导得：

$\frac{\partial E }{\partial W }=2(W\sum_{i=1}^{m}X^{2}+\sum_{i=1}^{m}x_{i}(b-y_{i}))$

$\frac{\partial E }{\partial b }=2(mb+\sum_{i=1}^{m}(WX-y_{i}))$

对于比较简单的函数，我们令偏导=0就可求出最优值W与b:

$W=\frac{\sum_{i=1}^{m}y_{i}(X_{i}-\bar{X})}{\sum_{i=1}^{m}X_{i}^{2}-\frac{1}{m}(\sum_{i=1}^{m}X_{i})^{2}}$

$b=\frac{1}{m}\sum_{i=1}^{m}(y_{i}-WX_{i})$

其中 $\bar{x}=\frac{1}{m}\sum_{i=1}^{m}X_{i}$

但对于像下图这样有多个最优解的情况，我们用梯度下降法一步步找最优值，避免陷入局部最优解的情况，且计算量小很多。

$W=W-\alpha \frac{\partial E}{\partial W}$

$b=b-\alpha \frac{\partial E}{\partial b}$

多元线性回归

最终求得：

推导过程

推导过程可见：https://blog.csdn.net/marsjohn/article/details/54911788

关注

3
点赞
踩
21

收藏

觉得还不错? 一键收藏
0
评论
最小二乘法：求回归直线方程

最小二乘法：使离差平方和（i=1~n） ∑（yi-yi'）最小的方法结论：设回归方程为y'=bx+a;解得回归直线方程：在一组具有相关关系的变量与数据的（x，y）间，最能体现x,y关系的直线（一条尽可能接近所有数据点的直线）设回归方程为y'=bx+a;要使直线最拟合，则使（i=1~n） ∑（yi-yi'）最小，但yi-yi'可能为负，无法正确反映整体数据的切合程度...
复制链接

扫一扫

专栏目录

博客等级

码龄6年

247
原创

266
点赞

1562
收藏

154
粉丝

关注

私信

热门文章

分类专栏

最新评论

正负数在计算机中的表示（原码反码补码）及位运算
做而论道_CS: 唉，跟老外讨论数学，无疑是“鸡同鸭讲”！你要是跟着老外学数学，直接就掉沟里去了！
正负数在计算机中的表示（原码反码补码）及位运算
做而论道_CS: 如前所述：　负数的补码 = 256 ＋负数。对于零和正数，也是用同样的公式：　正数的补码 = 256 ＋正数。你应该理解，加上 256 就是出现一个进位。　把这个进位舍去，公式就简单了：　正数的补码 = 正数。此处，就证明了：正数的补码就是该正数。计算机专家，当然不懂这些了。他们只会说：正数的原码反码补码相同，这是规定！
正负数在计算机中的表示（原码反码补码）及位运算
做而论道_CS: 所谓的补码，就是这么来的。补码，与符号位原码反码，都没有半点关系。进位，应该是小学的知识点。计算机专家，都是从小就迷上了计算机。该学的知识，都稀里糊涂的。正数，为什么能当负数呢？　弄不明白！没有办法，只好编造一套瞎话：　机器数真值符号位原码反码补码正数三码相同　负数取反加一符号位不变模符号位也参加运算 ... 老外的算术水平，由此可见一斑。计算机专家写的这些，明显就是【拿个鞋拔子当做玉如意】。假货，不仅仅在古董行业才有啊！我们的老师，数学水平，当然不会这么差。但是由于对老外盲目的崇拜迷信，也就只会跟风了。多年来，也不知道有多少学生因此挂科。这些没有任何理论依据的谎言，还列为考研的内容！真是毁人不倦坑人不浅！
正负数在计算机中的表示（原码反码补码）及位运算
做而论道_CS: 99、255，都能当－1，这是为什么呢？　绝对不是“符号位原码反码补码取反加一 ... ” 　而是你舍弃了进位。也就是说，在计算时【减去了进位】！那就把【减进位】算进去吧。两位十进制的进位，是：10^2 = 100。　加上 99，实际是加了：99－100 = －1。　加上 98，实际是加了：98－100 = －2。　。。。八位二进制的进位，是：2^8 = 256。　加上 255，实际就是加上：255－256 = －1。　加上 254，实际就是加上：254－256 = －2。　。。。这些正数，与其负数的关系式，你一定能看出来：　正数 = 256 ＋负数。这些正数，就被计算机专家，称为 “补码” 了。于是，一个简单的算术题，就成了它们的发明！
正负数在计算机中的表示（原码反码补码）及位运算
做而论道_CS: 计算机的字长，是固定的。八位机，只会做：　八位＋八位＝一个进位、八位的和。八位二进制的范围是：0000 0000 ~ 1111 1111。与其等效的十进制是：0 ~ 255。最大值 255，就可以当做“负一”来使用。如 27 － 1 = 26，八位机的计算如下：　　　0001 1011　　(这就是 27) 　　＋1111 1111　　(这就是－1) －－－－－－－－－－ (进 1 ) 0001 1010 舍弃进位，只取八位的和，就是 26。

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。