一.梯度下降法
- 不是一个机器学习算法
- 是一种基于搜索的最优化方法
- 作用:最小化一个损失函数
- 梯度上升法:最大化一个效用函数
很多函数不能之间求出最小化函数的参数解。需要基于搜索的策略求解。
导数代表梯度增大的方向,函数在梯度这个方向的方向导数是最大的。函数方向导数的最大值为梯度的模。
- η是学习率
- η取值影响获最优解速度
- η是梯度下降的超参数
二.模拟梯度下降法
三.线性回归中的梯度下降
1.多元线性回归梯度推导
2.使用梯度下降法训练
很多函数不能之间求出最小化函数的参数解。需要基于搜索的策略求解。
导数代表梯度增大的方向,函数在梯度这个方向的方向导数是最大的。函数方向导数的最大值为梯度的模。