线性回归 梯度下降算法 overshot the minimun现象

在梯度下降算法中，理论上有一个步长steep需要我们设置。steep的设置非常重要，如果设置不当，我们的梯度下降算法可能就得不到我们想要的结果。

一：步长不当导致的问题

如果步长太短，很显然我们训练集训练的时间就会加长。如果训练集比较多，这也是致命的。

如果步长太长，可能出现Overshoot the minimun（越过极小值点）现象。甚至梯度下降算法无法收敛，找不到我们要的极小值。

二：tensorflow 解决步长问题

line search （数学渣渣，没看懂）算法能解决步长问题。结果是在不断逼近最小值时，步长会不断减小。