机器学习中的正则化简介

最近在看deeplearning 那本书，介绍了一些正则化的东西，下面就做一个简单的记录

从深度学习的角度来进行解释

我们在使用深度神经网络的时候，或者是在进行机器学习的损失函数的求解的时候总是会遇到需要增加一个正则化项的操作

这个正则化的项目，在周志华的老师的书中曾经提到过，就是用来增加偏好的，也可以看做是对与求解的约束行为，但是正则化的作用还有很多，形式也是有很多

1,在进行学习的时候经常会遇到数据过拟合的问题，通过增加正则化项来减少泛化误差

常用的有L1，L2范式。L1范式是一种稀疏化的范式，L2范式在计算上的凸优化会好于L1范式。

2在进行偏好的设计时，先验的与正则化的异同

在计算时，两者的形式基本上是一样的，但是所表征的意义，与所能取值是不同的。

正则化要求非负的项，而先验概率则要满足概率的性质。

正则化必先验计算更具有一般化。

深度的网络可以看做是前一层的数据是后一层数据的先验值。

3.在对数据集加噪声的过程也可以转化为一种正则化的行为

且在书中作者介绍了两种加噪声的方式：1.输入加噪声，2是对与权值进行加噪声。

在神经网络中的dropout可以看做是正则化。

bagging 与ensemble方法也是以后总特殊的含有正则化的模型

最后，正则化主要是嘉庆网络的泛化的能力，（可以将一切的参数约束都看做是正则化）

通过增加biase减少variance

参考书目

deep learning 2015 10  Bengio