深度学习的训练技巧总结--台大李宏毅机器学习课程笔记

主要记录一些学习过程，以后查阅也方便，来源：李宏毅机器学习课程

Early Stopping 

此时提前停止的testing set是有label的data，一般是自己划分出来的Val验证集数据或类似kaggle的public set 

Regularization

 

 都是很小的值，因此每次update之前就相当于乘上一个接近1的数，比如0.99，这相当于前面越来越接近0，相当于在做weight decay。但是深度学习中正则化（Regularization）一般并没有SVM那样明显有帮助。正则化与early stopping所做的事是比较接近的，都是使参数不要离零太远。

 每一次update参数时，如果w为正，就是减去一个值让参数变大。如果w是特别大的正值，对于L2正则化减去的也很大，但对于L1减去的都差不多，因此L1可能会保留很多很大的值。如果考虑很小的值比如0.1，0.001，L2下降的就会很慢，因此会保留很多很小的值，而L1减去的值都是固定的值（+1或-1），因此L1的结果比较稀疏。

Dropout