【李宏毅】机器学习 笔记08（Tips for deep learning）

注：这不是overfiting的结果，因为这里是training data

 

对于最后卡在local minima的点，可以通过类比现实物理中的惯性，在做梯度下降时，加上一个代表类似惯性的量momentum，和梯度共同影响下一步的移动，来解决这种卡住的情况：

 

这个平均值和所有的权重*(1-p)%的结果是可以约等的

如：两个input的时候：

左边，average=(w1x1+w2x2+w2x2+w1x1+0)/4=(w1x1+w2x2)/2

右边，p=50%，所有的权重*(1-p)%算的结果=average