深度学习正则化

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/IT_NEU_Lee/article/details/84574944

以前总是不了解什么是正则化   今天看书 算是有点体会  

根据阿卡姆剃刀原理,如果一件事情有两种解释,那么相对简单的那个解释更可能是正确的解释,即假设更少的那个。

这个原理用在神经网络中,给定一些训练数据和一种网络架构,很多组权重值(即很多种模型)都可以解释这些数据,简单的模型比复的模型更不容易过拟合。

 

这里简单模型指的是参数值分布的熵更小的模型,或者参数更少的模型。如果强制让模型权重即参数只能取较小的值,从而限制模型的复杂度,这使得权重值的分布更加规则,即熵更小,这种方法就叫做权重正则化,其实现方法是向网络损失函数中添加于较大权重值相关的成本:L1正则化  L2正则化。

 

 

下面总结一下防止神经网络过拟合的方法:

1  获取更多的训练数据

2 减小网络容量

3  添加权重正则化

4  添加dropout

展开阅读全文

没有更多推荐了,返回首页