深度学习正则化

以前总是不了解什么是正则化   今天看书 算是有点体会  

根据阿卡姆剃刀原理，如果一件事情有两种解释，那么相对简单的那个解释更可能是正确的解释，即假设更少的那个。

这个原理用在神经网络中，给定一些训练数据和一种网络架构，很多组权重值（即很多种模型）都可以解释这些数据，简单的模型比复的模型更不容易过拟合。

 

这里简单模型指的是参数值分布的熵更小的模型，或者参数更少的模型。如果强制让模型权重即参数只能取较小的值，从而限制模型的复杂度，这使得权重值的分布更加规则，即熵更小，这种方法就叫做权重正则化，其实现方法是向网络损失函数中添加于较大权重值相关的成本：L1正则化  L2正则化。

 

 

下面总结一下防止神经网络过拟合的方法：

1  获取更多的训练数据

2 减小网络容量

3  添加权重正则化

4  添加dropout