【机器学习-学习笔记】线性回归 -- 梯度下降vs正规方程优缺点比较

最新推荐文章于 2023-03-27 16:58:08 发布

保护我方鲁班七号

最新推荐文章于 2023-03-27 16:58:08 发布

阅读量1.8k

点赞数

分类专栏：机器学习文章标签：机器学习梯度下降正规方程线性回归

本文链接：https://blog.csdn.net/m511655654/article/details/81326223

版权

28 篇文章 4 订阅

订阅专栏

假设有m个训练样本，n个特征变量

梯度下降	正规方程
$J\left ( \Theta \right )=\frac{1}{2m}\sum_{i=1}^{m}\left ( h_{\Theta }\left (x ^{\left (i \right )} \right )- y^{\left ( i \right )} \right)^{2}$	$\Theta =\left (X^{_{T}}X \right )^{-1}X^{_{T}}y$
需要选择学习速率α，运行多次尝试不同的α直到找到合适的α	不需要选取需要选取学习速率α，只需要运行一次计算即可
需要多次迭代，取决于细节，计算可能较慢	不需要进行迭代，计算 $J\left ( \Theta \right )$ 来检查收敛性
当n很大（上百万）时表现很好，通常很有效	求解 $\Theta$ 时需要计算 $\left (X^{_{T}}X \right )^{-1}$ 这一项， $\left (X^{_{T}}X \right )$ 该项为 $n\ast n$ 的矩阵，对于大多数计算机而言，实现逆矩阵计算的代价是以矩阵维度的三次方 $O\left ( n^{3} \right )$ 增长，计算较慢
当n>10000时，选择梯度下降效率更高	当n<10000时（几百几千维向量），选择正规方程能更好的求解参数