梯度下降算法总结

一、我们为什么要用梯度下降算法
我们知道线性回归其实其本质就是求θ。

但是我们直接求解不一定能算出θ。所以我们用到这种慢慢逼近这个最优解，求最优解。
二、目标函数及更新方法
目标函数：

求偏导：

1、批量梯度下降：

优点：结果精准
缺点：速度慢，不经济

2、随机梯度下降：

优点：速度快
缺点：结果不准确

3、小批量梯度下降：

通过设置batch值，来批量更新数据。
优点：速度较快，且较为准确

三、梯度下降的计算步骤：

• 初始化参数：将所有参数赋初值。一般是随机赋值
• 计算梯度：也就是计算当下参数，在函数的变化率，确定梯度下降最快的方向
• 更新参数 ：使用梯度信息来更新参数，以减小目标函数的值。更新规则通常是将当前参数沿着负梯度方向移动一定步长，这个步长称为学习率。通过不断迭代更新参数，可以逐步降低目标函数的值。
• 重复迭代：重复步骤 2 和步骤 3，直到满足停止条件。停止条件可以是达到最大迭代次数、梯度的大小小于某个阈值，或者目标函数值的变化小于某个阈值等。

总的来说，梯度下降的步骤就是不断地计算梯度、更新参数，并重复这个过程直到达到停止条件。这样就可以逐步优化目标函数，找到其局部最小值或全局最小值。