【机器学习入门】1.2线性回归之梯度下降

梯度：上升 指向标量场增长最快的方向

梯度下降：下降的 指向标量场下降最快的方向

机器学习：

一个目标函数求解

一步步迭代（线性回归只是个特例，可以直接求解）

为什么不快速迭代：

一小步一小步，走快了容易跌倒：陷入一个极小值点出不来了，全局上看并不是最小值点

学习率（步长）太快：容易出错

选择：小学习率，大迭代次数

3种梯度下降的方法：

1.批量梯度下降：全部样本：费事，收敛

2.随机梯度下降：一个样本：离群点、异常点，不一定收敛

3.小批量梯度下降：一部分样本：16 64 128 最实用