最小二乘法和梯度下降法的区别

参考：http://t.csdnimg.cn/wMqs2，ChatGTP4的回答（若有侵权 请联系删除）

总体概述：

最小二乘法（Ordinary Least Squares, OLS）通过求解目标函数的导数为零的位置，来找到函数的局部最低点，从而确定回归模型的最佳拟合线。

梯度下降法：作为最常见的优化方法，梯度下降法（Gradient Descent）是一种常用的优化算法，用于寻找函数的最小值（或最大值）。它通过迭代更新参数的方式，使目标函数逐渐逼近最优值。

梯度下降法的类型

1. 批量梯度下降（Batch Gradient Descent）：

优点：每次迭代使用整个训练集来计算梯度，收敛稳定，梯度计算平滑。

缺点：计算开销较大，时间长，内存占用高。

适用场景：适用于数据量较小的情况或计算资源充足的情况。

1. 随机梯度下降（Stochastic Gradient Descent, SGD）：

优点：每次迭代仅仅使用单个样本来计算梯度，计算量小；在实际操作中可以立即使用新数据更新；由于每次更新的随机性，有助于跳出局部最优。

缺点：收敛受单个样本影响较大，不稳定；需要迭代次数较多；对学习率敏感。

适用场景：适用于数据量较大的情况和在线学习场景。

3.小批量梯度下降（Mini-batch Gradient Descent）

优点： 相比于 SGD 更新更稳定，相比于批量梯度下降计算量较小；可以利用 GPU 等硬件加速批量运算。

缺点： 仍需较大内存资；源批量大小的选择影响训练效果和效率，通常需要实验调整。

适用场景： 适用于大多数应用场景，适合硬件加速（GPU）