线性回归的梯度下降

最新推荐文章于 2024-07-23 16:09:31 发布

MinJinFan

最新推荐文章于 2024-07-23 16:09:31 发布

阅读量1.1k

点赞数 2

分类专栏： Machine Learning 文章标签：线性回归、梯度下降 C++

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_37264323/article/details/105150381

版权

本文深入探讨了线性回归中梯度下降的原理，详细解释了梯度下降公式如何与平方误差代价函数结合，并指出在求导过程中2的系数会被约掉。在实际应用中，权重更新涉及所有特征值，通过迭代逐步优化模型。同时，文章提供了代码实现，展示了代价函数计算、梯度求解和权重更新的过程，最终结果接近预期的函数。

摘要由CSDN通过智能技术生成

一、原理

线性回归的梯度下降：其实就是将梯度下降算法和代价函数相结合。

上图左边的蓝色框里的就是梯度下降法公式，右边的分别是线性回归模型以及平方误差代价函数。目的就是利用梯度下降的方法来最小化平方误差代价函数。

需要知道，最重要的是梯度下降法的导数部分，在梯度下降法公式与代价函数结合后的导数部分形式如下：

要留意的是，求导时系数分母有个2被约掉了。

现在代价函数对于 $\theta_{0},\theta_{1}$ 的偏导已知，将他们带入梯度下降法公式 $\theta_{j}=\theta_{j}-\alpha\frac{\partial }{\partial \theta_{j}}J(\theta_{0},\theta_{1})$ ，有：

对于上式需要说明以下，因为我在刚刚学的时候也有点懵：由于 $\theta_{0}$ 是常数，或者说 $\theta_{0}$ 对应的 $x_{0}$ 为1；而对于 $\theta_{1}$ 的迭代，后面乘的 $x^{(i)}$ 指的是第 i 个特征值（在这里即 $x_{1}$ )，这从求偏导的过程中就可以看出来。如果有多个特征值，即：

$h(x)=\theta_{0}x_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+...+\theta_{n}x_{n}$ ，当等新权重 $\theta_{j}$ 时，

最低0.47元/天解锁文章

关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。