线性回归推导整理

最新推荐文章于 2023-05-20 17:12:27 发布

爬行程序猿

最新推荐文章于 2023-05-20 17:12:27 发布

阅读量411

点赞数

分类专栏：线性回归推导公式文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/wang6562009/article/details/103523086

版权

线性回归同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

1 篇文章 0 订阅

订阅专栏

记录一下线性回归推导。以后多写写博客，多记录

线性回归公式 $y=w_0x_0+w_1x_1+...+w_nx_n+b{}$ 其中，w0为参数，x0 为样本值，b 为偏执项

可以记为 $y = w^Tx+b{}$ (1)其中，wT为转置矩阵。

预测样本和真实值之间存在误差 $\left | y-\hat{y} \right | = \varepsilon$ 其中 $\varepsilon$ 为误差

对于每个样本都存在误差 $\varepsilon_i =\hat{y}_i -w^Tx_i$ (2)

假设误差 $\varepsilon$ 是服从独立分布的，并且服从高斯分布，则有

$p(\varepsilon_i )=\frac{1}{\sqrt{2\pi }\delta }exp(-\frac{\varepsilon_i^2 }{2\delta^2})$ (3)

将（2）代入（3）则有条件概率

$p\left ( Y=y_i|X=x_i;W=w_i \right )=\frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (4)

在已知条件概率的情况下，可以使用最大似然函数来估计参数，也就说在知道y 和x 的情况下，可以估计w是真实样本的最大概率是多少。

$L(w)=\prod p\left ( Y=y_i|X=x_i;W=w_i \right )=\prod \frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (5)

因为求累乘很麻烦，因此转为求对数

$logL(w)=log\prod \frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (6)

左边转化：

$log\sum \frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ （7）

继续化简

$\sum log\frac{1}{\sqrt{2\pi }\delta }+\sum log exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (8)

下一步：

$m*log\frac{1}{\sqrt{2\pi }\delta }+\sum(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (9)

最终化简为：

$logL(w)=m*log\frac{1}{\sqrt{2\pi }\delta }-\frac{1}{2} \frac{1}{\delta^2}\sum(\hat{y}_i -w^Tx_i )^2$ (10)

因为L(w)是概率值，所以应该要求这个概率值越大越好，公式右边第一项是常数，没有影响，所以就要求第二项越小越好

因此得到目标函数：

$J(w) = \frac{1}{2}\sum(\hat{y}_i -w^Tx_i )^2$ (11)

为了让公式（11）越小越好，因此应该就是求函数的极小值。因为公式（11）是凸函数，因此求极小值就是求导数为0的点

将公式（11）展开

（公式打不上去，就去别去扒了一张图来）

对其求偏导

$\frac{\partial J(w)}{\partial w} = \frac{1}{2}\frac{\partial}{\partial w} (y-Xw)^T(y-Xw)$ (12)

$\frac{\partial J(w)}{\partial w} = \frac{1}{2}\frac{\partial}{\partial w} (y^T-w^TX^T)(y-Xw)$ （13）

对公式（13）化简整理：

$\frac{\partial J(w)}{\partial w} = \frac{1}{2}\frac{\partial}{\partial w} (y^Ty-w^TX^Ty-y^TXw+w^TX^TXw)$ (14)

对矩阵求偏导，最终得到

$\frac{\partial J(w)}{\partial w} =X^TXw-Xy$ (15)

求偏导等于0的点因此为

$X^TXw=Xy$ （16）

即

$w=(X^TX)^{-1}Xy$

到此求出参数w 与样本之间的关系。

但这里

$(X^TX)^{-1}$ 不一定可逆，因此就涉及到了使用梯度下降的方式来求解。之后写关于梯度下降的博客

爬行程序猿

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
线性回归推导整理

记录一下线性回归推导。以后多写写博客，多记录线性回归公式其中，w0为参数，x0 为样本值，b 为偏执项可以记为 (1)其中，wT为转置矩阵。预测样本和真实值之间存在误差其中为误差对于每个样本都存在误差 (2)假设误差是服从独立分布的，并且服从高斯分布，则有 (3)将（2）代入（3）则有条件概率 (4)在已知条件概率的情况下，可以...
复制链接

扫一扫

专栏目录

爬行程序猿 CSDN认证博客专家 CSDN认证企业博客

码龄13年

21: 原创

17万+: 周排名

6万+: 总排名

2万+: 访问

: 等级

355: 积分

41: 粉丝

40: 获赞

10: 评论

99: 收藏

私信

关注

热门文章

分类专栏

最新评论

目标检测--YoloV5
CSDN-Ada助手: 恭喜您发布了第20篇博客，内容关于目标检测的YoloV5，看来您对这个领域有着深入的研究和理解。希望您能继续保持创作的热情和努力，不断分享您的见解和经验。或许下一步可以尝试深入探讨YoloV5的优化方法或者与其他目标检测算法的比较分析，相信会有更多的读者受益。期待您更多精彩的作品！祝您一切顺利！
目标检测--Yolov7
CSDN-Ada助手: 恭喜您发布了第19篇博客，内容涉及目标检测中的Yolov7，看来您对这一领域的研究颇有深度啊！希望您能继续保持创作的热情和耐心，不断分享您的学习和研究成果。或许在下一篇博客中，可以结合实际案例或者对比不同算法的性能进行分析，以丰富内容，提升读者的阅读体验。期待您的更多精彩作品！
C++版 PPyolo+部署记录
FunnyWii: paddle这东西需要把so文件cp到/usr/lib 也太离谱了吧。。。。
C++版 PPyolo+部署记录
爬行程序猿: 建议看下PaddleInference的源码吧，这里提供的都是封装好的，源码中应该有写。
C++版 PPyolo+部署记录
517实验室: 你好，后处理部分的c++代码有写吗？我把模型中的nms部分给去掉了，然后导出的onnx,再导出engine模型，所以engine模型中是不含有后处理的部分的，需要自己写后处理

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。