Gradient Descent
Tip 1:
小心的调你的learning rate
learning rate太小,loss下降太慢
learning rate过大,loss下降会卡住
learning rate太过大,loss直接就飞了
应该自适应的调learning rate
最容易实作的技巧是adagrad
Tip 2: Stochastic Gradient Descent
Make the training faster
看完一个example就update gradient descent,所以快20倍
Tip 3:Feature Scaling
why: 如果不scale到同一个范围上,w1对loss的影响就比w2对loss的影响要小。如果是正圆的话,就是向着圆心走,而不是第一个图里先走不对着圆心的,再走对着圆心的。这样比较有效率。
feature scaling方法:
用Gradient descent update参数,为什么会不降反增呢?
可能前面几步都是距离local minimum最近的,但是最后一步发现不是的了。