权重衰退 权重衰退QAQ∶实践中权重衰减的值一般设置多少为好呢?之前在跑代码的时候总感觉权重衰减的效果并不那么好Q:问老师,为什么要把w往小的拉?如果最优解的W就是比较大的数,那权重衰减是不是会有反作用? 权重衰退 权重衰退是最常见的处理过拟合的方法 权重衰退是通过控制值的选择范围来进行的 如果没有限制,就可以像蓝色曲线那样,取得很小或者很大的值 通过限制选择范围,减少波动,从而控制模型复杂度 QA Q∶实践中权重衰减的值一般设置多少为好呢?之前在跑代码的时候总感觉权重衰减的效果并不那么好 一般取e-3,e-4。权重衰退效果实际上不强。 Q:问老师,为什么要把w往小的拉?如果最优解的W就是比较大的数,那权重衰减是不是会有反作用? 实际数据中存在着噪音,实际解会比最优解偏大