前言
梯度下降法(Gradient Descent)是机器学习中最常用的优化方法之一,常用来求解目标函数的极值。
其基本原理非常简单:沿着目标函数梯度下降的方向搜索极小值(也可以沿着梯度上升的方向搜索极大值)。
在《【Python机器学习】梯度下降法(一)》中简单分析了学习率大小对搜索过程的影响,发现:
梯度下降法(Gradient Descent)是机器学习中最常用的优化方法之一,常用来求解目标函数的极值。
其基本原理非常简单:沿着目标函数梯度下降的方向搜索极小值(也可以沿着梯度上升的方向搜索极大值)。
在《【Python机器学习】梯度下降法(一)》中简单分析了学习率大小对搜索过程的影响,发现: