正则

1.为什么L2不稀疏：

理解一：

稀疏则表示在0点处于最小值，而L2的导数在-0那里基本不为0。

因为L2项在0点处导数是0， 所以如果原来的损失函数在0点处导数不为0，那么正则后的损失函数在0点处的导数就不为0。

而施加 L1 regularization 时，只要 regularization 项的系数 C 大于原先费用函数在 0 点处的导数的绝对值，x = 0 就会变成一个极小值点。

只要保证施加L1后x=0处左右两边导数异号就行。原函数用f(x)表示，则施加L1后x=0处左右两边导数分别是f'(0)-C和f'(0)+C，只要C>|f'(0)|就能保证异号啦

L1正则的作用是去除不重要的特征，L2正则是特征加权

参考：https://www.zhihu.com/question/37096933/answer/70426653

理解二：

2.L1怎么求导：使用次梯度，即在点的左右两端分别求导数，得到一个导数范围

3.从正则和bagging两个角度解释dropout:

   dropout随机将神经网络的神经元置为0，降低了模型复杂度，相当于正则。在预测的时候，相当于把多个正则后的模型（犹豫dropout的随机性，因为每个正则化的模型都是用部门数据进行训练的）bagging融合起来。