一、我们为什么要用梯度下降算法
我们知道线性回归其实其本质就是求θ。
但是我们直接求解不一定能算出θ。所以我们用到这种慢慢逼近这个最优解,求最优解。
二、目标函数及更新方法
目标函数:
求偏导:
1、批量梯度下降:
优点:结果精准
缺点:速度慢,不经济
2、随机梯度下降:
优点:速度快
缺点:结果不准确
3、小批量梯度下降:
通过设置batch值,来批量更新数据。
优点:速度较快,且较为准确
三、梯度下降的计算步骤:
- 初始化参数:将所有参数赋初值。一般是随机赋值
- 计算梯度:也就是计算当下参数,在函数的变化率,确定梯度下降最快的方向
- 更新参数 :使用梯度信息来更新参数,以减小目标函数的值。更新规则通常是将当前参数沿着负梯度方向移动一定步长,这个步长称为学习率。通过不断迭代更新参数,可以逐步降低目标函数的值。
- 重复迭代:重复步骤 2 和步骤 3,直到满足停止条件。停止条件可以是达到最大迭代次数、梯度的大小小于某个阈值,或者目标函数值的变化小于某个阈值等。
总的来说,梯度下降的步骤就是不断地计算梯度、更新参数,并重复这个过程直到达到停止条件。这样就可以逐步优化目标函数,找到其局部最小值或全局最小值。