6.14关于神经网络正则化的学习

6.14关于神经网络正则化的学习 ##

在之前电话面试中，考官问我你对过拟合有什么了解？我说过拟合就是对训练集数据的拟合程度很好，但对测试集数据没有很好的拟合（其实简单点说就是模型没有很好的泛化能力）。

既然谈到了过拟合的问题，就避不开正则化这个问题。 通俗意义上来说，解决过拟合，最好的办法就是增加数据集（有时候不一定是数据集不够，也有可能是特征提取的问题）。其次就是正则化以及卷积神经网络中的dropout（随机，临时删除一些神经元，也可以理解为停用）。

关于L1,L2正则化的推导与介绍，借用（小平子的专栏）博客的一段话，个人认为比较通俗易懂： 一般回归分析中回归ww表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）。L1正则化和L2正则化的说明如下：

L1正则化是指权值向量w中各个元素的绝对值之和，通常表示为||w||
L2正则化是指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为||w||^2
一般都会在正则化项之前添加一个系数，Python中用α表示，一些文章也用λ表示。这个系数需要用户指定。

那添加L1和L2正则化有什么用？下面是L1正则化和L2正则化的作用，这些表述可以在很多文章中找到。

L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

主要想说的是L1，L2在神经网络中的具体实现。
L1正则化，用Tensorflow来实现：loss(w)=tf.contrib.layers.l1_regulaizer(REGULAIZER)(w)（L2和L1差不多，把1换成2）
在神经网络中的具体应用，正则化：在损失函数中给每个参数w加上权重，引入模型复杂度指标，来减小过拟合。

实际应用：

def weight(shape,regulaizer):
    w=tf.Variable(tf.random_normal(shape),dtype=tf.float32)
    tf.add_to_collection('losses',tf.contrib.layers.l1_regualizer(REGUALIZER)(w))
    return w

loss=tf.reduce_mean(tf.square(y-y_))
losses=loss+tf.add_n(tf.get_collection('losses'))

也可以自己直接编写L1的正则化函数，把当前W提取出来，然后求1范数（L1）或者2范数（L2），因为W求出的结果是一个矩阵。

第一篇博客，写的太烂。。。就这样吧！