线性回归之梯度下降法和最小二乘法

Darin_Zanyar

于 2019-12-16 12:57:40 发布

阅读量1.8k

点赞数

分类专栏：机器学习线性回归文章标签：机器学习线性回归梯度下降法最小二乘法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Darin_Zanyar/article/details/103560553

版权

本文介绍了线性回归中的两种常用优化方法：梯度下降法（GD）和最小二乘法（OLS）。详细讨论了GD的批量、随机和小批量梯度下降，包括其原理、更新公式和调优策略，如步长选择、初始值影响及归一化。同时，解释了最小二乘法的矩阵表达式及其在特征线性相关时的处理方法。最后，讨论了在实际应用中如何选择合适的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析；如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。常用的方法有梯度下降法和最小二乘法。

1.梯度下降法（GD）

1.1 原理：

$\theta =\theta -\alpha \frac{\partial }{\partial \theta }J\left ( \theta \right )$

其中， $\alpha$ 为学习速率或步长（Learning rate）

1.2 假设函数：

$h_{\theta }\left ( x \right )=\theta _{0}+\theta _{1}x_{1}+...+\theta _{n}x_{n}$

1.3 损失函数：

$J\left ( \theta \right )=\frac{1}{2m}\sum_{i=1}^{m}\left ( h_{\theta }\left ( x^{\left ( i \right )} \right )-y^{\left ( i \right )} \right )^{2}$

1.4 分析过程：

1.4.1 批量梯度下降法（BGD）

最低0.47元/天解锁文章

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。