权重衰减(weight decay)与学习率衰减(learning rate decay)
转自:https://blog.csdn.net/program_developer/article/details/80867468
“微信公众号”1. 权重衰减(weight decay)L2正则化的目的就是为了让权重衰减到更小的值,在一定程度上减少模型过拟合的问题,所以权重衰减也叫L2正则化。1.1 L2正则化与权重衰减系数L2正则化就是在代价函数后面再加上一个正则化项:其中C0代表原始的代...
转载
2019-02-14 14:41:35 ·
434 阅读 ·
1 评论