最小二乘法——参数估计过程推导

井底哇哇

已于 2023-08-24 14:17:35 修改

阅读量1.7k

点赞数 2

文章标签：最小二乘法机器学习人工智能

于 2023-08-24 14:16:37 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_41187013/article/details/132471859

版权

一准备

1 给定数据集 D={( $x_{1},y_{1}$ ),( $x_{2},y_{2}$ ),...,( $x_{m},y_{m}$ )},其中假设X是一维的情况，即只有一个自变量

2 线性回归学习的目标： $f(x_{i})=wx_{i}+b$ ,使得 $f(x_{i})\simeq y_{i}$

3 如何确定w和b？关键在于衡量f(x)和y之间距离的方法，此处使用的是‘均方误差’，其具有非常好的几何意义，对应了常用的欧几里得距离；公式如下：

$MSE = \frac{1}{m}\sum_{i=1}^{m}(y_{i}-\bar{y})^{2}$

因此我们可以试图让均方误差最小化，即：

$(\hat{w},\hat{b}) = arg min \sum_{i=1}^{m}(f(x_{i})-y_{i})^{2}= arg min \sum_{i=1}^{m}(y_{i}-wx_{i}-b)^{2}$

4 ‘最小二乘法’：基于“均方误差”来进行模型求解的方法；其试图找到一条直线，使所有样本到直线的欧氏距离之和最小。

5 “线性回归模型的最小二乘参数估计”：求解w和b使 $E_{(w,b)} = \sum_{i=1}^{m}(y_{i}-wx_{i}-b)^{2}$ 最小化的过程

6 为简化公式，以下 $\sum_{i=1}^{m}$ 均用 $\sum$ 代替

二估计过程

1.最小化目标函数：

$E_{(w,b)} = \sum(y_{i}-wx_{i}-b)^{2}$ （1）

2.我们将 $E_{(w,b)}$ 分别对w和b求导；

1）首先化简等式

$E_{(w,b)}=\sum(y_{i}-wx_{i}-b)^{2}$

$=\sum[x_{i}w+(y_{i}-b)]^{2}$

$=\sum(x_{i}^{2}w^{2}+(y_{i}-b)^{2}-2(y_{i}-b)x_{i}w))$

$=w^{2}\sum x_{i}^{2}+\sum(y_{i}-b)^{2}-w(\sum2(y_{i}-b)x_{i})$

2)对 $E_{(w,b)}=w^{2}\sum x_{i}^{2}+\sum(y_{i}-b)^{2}-w(\sum2(y_{i}-b)x_{i})$ 求w的偏导

$\frac{\theta E_{(w,b)}}{\theta w}=2(\sum x_{i}^{2})w-\sum 2(y_{i}-b)x_{i}$

$=2(w\sum x_{i}^{2}-\sum (y_{i}-b)x_{i})$

3)对 $E_{(w,b)}=w^{2}\sum x_{i}^{2}+\sum (y_{i}-b)^{2}-w(\sum 2(y_{i}-b)x_{i})$ 求b的偏导先进一步化简等式：

$E_{(w,b)}=w^{2}\sum x_{i}^{2}+\sum (y_{i}-b)^{2}-w(\sum 2(y_{i}-b)x_{i})$

$=(\sum x_{i}^{2})w^{2}+\sum (y_{i}^{2}+b^{2}-2y_{i}b)-\sum 2y_{i}x_{i}w+\sum 2bx_{i}w$

$=\sum x_{i}w^{2}+\sum y_{i}^{2}+\sum b^{2}-\sum 2y_{i}b-\sum 2y_{i}x_{i}w+\sum2b wx_{i}$

再求偏导：

$\frac{\theta E_{(w,b)}}{\theta b}=2mb-2\sum y_{i}+2\sum wx_{i}$

$=2mb-2(\sum (y_{i}-wx_{i}))$

$=2(mb-\sum (y_{i}-wx_{i}))$

4)整理上述两个偏导求取结果

$\frac{\theta E_{(w,b)}}{\theta w}=2(w\sum x_{i}^{2}-\sum (y_{i}-b)x_{i})$

$\frac{\theta E_{(w,b)}}{\theta b}=2(mb-\sum (y_{i}-wx_{i}))$

3.另2中求得的两个偏导数结果为0可得w和b的最优闭式解

1）首先令 $\frac{\theta E_{(w,b)}}{\theta b}=2(mb-\sum (y_{i}-wx_{i}))$ 等于0

$0=2(mb-\sum (y_{i}-wx_{i}))$

$0=mb-\sum (y_{i}-wx_{i})$

$mb=\sum (y_{i}-wx_{i})$

$b = \frac{\sum (y_{i}-wx_{i})}{m}$

2) 再令 $\frac{\theta E_{(w,b)}}{\theta w}=2(w\sum x_{i}^{2}-\sum (y_{i}-b)x_{i})$ 等于0

$0=2(w\sum x_{i}^{2}-\sum (y_{i}-b)x_{i})$

$0=w\sum x_{i}^{2}-\sum (y_{i}-b)x_{i}$

$w\sum x_{i}^{2}=\sum (y_{i}-b)x_{i}$

$w\sum x_{i}^{2}=\sum (y_{i}x_{i})-b\sum (x_{i})$

$w\sum x_{i}^{2}=\sum (y_{i}x_{i})-(\frac{1}{m}\sum y_{i}-\bar{x}w)\sum (x_{i})$ (代入b的表达式)

$w\sum x_{i}^{2}=\sum (y_{i}x_{i})-\frac{1}{m}\sum y_{i}x_{i}+(\bar{x}\sum (x_{i})w$

$w\sum x_{i}^{2}-(\bar{x}\sum (x_{i}))w=\sum (y_{i}x_{i})-\sum y_{i}\bar{x}$

$w(\sum x_{i}^{2}-\bar{x}\sum x_{i})=\sum y_{i}(x_{i}-\bar{x})$

$w =\frac{\sum y_{i}(x_{i}-\bar{x})}{\sum x_{i}^{2}-\bar{x}\sum x_{i})}$

$w = \frac{\sum y_{i}(x_{i}-\bar{x})}{\sum x_{i}^{2}-\frac{1}{m}(\sum x_{i})^{2}}$

（其中, $\bar{x}=\frac{1}{m}\sum x_{i}$ ,为x的均值）

三参考文献

机器学习周志华清华大学出版社 2016年1月第一版

关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
最小二乘法——参数估计过程推导

最小二乘法逐步推导过程记录
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。