机器学习-梯度下降法（3.1）

一.梯度下降法

• 不是一个机器学习算法
• 是一种基于搜索的最优化方法
• 作用：最小化一个损失函数
• 梯度上升法：最大化一个效用函数

很多函数不能之间求出最小化函数的参数解。需要基于搜索的策略求解。

导数代表梯度增大的方向，函数在梯度这个方向的方向导数是最大的。函数方向导数的最大值为梯度的模。

• η是学习率
• η取值影响获最优解速度
• η是梯度下降的超参数

二.模拟梯度下降法

三.线性回归中的梯度下降

1.多元线性回归梯度推导

2.使用梯度下降法训练