dropout与正则化之间的关系？

欠拟合：high bias,训练数据不够充分；

过拟合：产生high variance，过度训练数据，泛化性能差。

用Bengio在Deep Learning中的这个图来阐述什么是过拟合。

随着模型的优化，training error和generalization error都下降，但到了一定程度之后，training error还在下降，而generalization error却上升了。

Regularization:

正则化的本质：约束要优化的参数。一般形式如下：

根据惩罚项的不同形式，又分为L0，L1，L2范数。

正则化其实是对解空间的一个限制：

蓝色的区域是解空间，红色的区域是正则化。蓝色的曲线的每个环上的点对应的损失函数都相等，通过正则化使得解空间被限制在红色区域。左侧L2范数，正则域是圆。右侧是L1范数，正则域是正方形。

1）L0范数

L0范数是指参数矩阵W中含有零元素的个数，L0范数限制了参数的个数不会过多，这也就简化了模型，当然也就能防止过拟合。

2）L1范数

L1范数是参数矩阵W中元素的绝对值之和，L1范数相对于L0范数不同点在于，L0范数求解是NP问题，而L1范数是L0范数的最优凸近似，求解较为容易。L1常被称为LASSO.

3）L2范数

L2范数是参数矩阵W中元素的平方之和，这使得参数矩阵中的元素更稀疏，与前两个范数不同的是，它不会让参数变为0，而是使得参数大部分都接近于0。L1追求稀疏化，从而丢弃了一部分特征（参数为0），而L2范数只是使参数尽可能为0，保留了特征。L2被称为Rigde.

Dropout正则化

Dropout的意思是：每次训练时随机忽略一部分神经元，这些神经元dropped-out了。换句话讲，这些神经元在正向传播时对下游的启动影响被忽略，反向传播时也不会更新权重。

Dropout的效果是，网络对某个神经元的权重变化更不敏感，增加泛化能力，减少过拟合。