Gradient Descent 2021-09-06

Gradient Descent

Tip 1:

小心的调你的learning rate

learning rate太小，loss下降太慢

learning rate过大，loss下降会卡住

learning rate太过大，loss直接就飞了

应该自适应的调learning rate

最容易实作的技巧是adagrad

Tip 2: Stochastic Gradient Descent

Make the training faster

看完一个example就update gradient descent，所以快20倍

Tip 3：Feature Scaling

why: 如果不scale到同一个范围上，w1对loss的影响就比w2对loss的影响要小。如果是正圆的话，就是向着圆心走，而不是第一个图里先走不对着圆心的，再走对着圆心的。这样比较有效率。

feature scaling方法：

用Gradient descent update参数，为什么会不降反增呢？
可能前面几步都是距离local minimum最近的，但是最后一步发现不是的了。