L1, L2 正则化

L1, L2 正则化

1.正则化的目的----防止过拟合。
2.正则化的手段----约束需要优化参数的个数。

1. L1 正则化介绍

其中w表示损失函数中的权重参数，r为正则化参数，R(w)表示权重向量中各元素的绝对值的和。

2. L2 正则化介绍

其中w表示损失函数中的权重参数，r为正则化参数，R(w)表示权重向量中各元素的平方的和。

3. L1与L2对比

（1）L1不可导；L2可导。
（2）L1会直接去除参数矩阵中的某些参数形成一个稀疏矩阵进而达到防止过拟合的目的；L2是使参数变得很小，一个很小的参数在平方其数值会变得更小，但是并非完全去除。从而防止过拟合。
（3）L1的图像是围绕原点中心对称的菱形，L2的图像是围绕原点中心对称的圆形。

4. 正则化参数r

正则参数r的值过大会导致欠拟合，过小会导致过拟合

5. 总结
模型学习优化的目的在于最小化损失函数J(sita)，其中sita表示权重与偏执项等参数。学习的结果就是模型的参数sita。
正则化的作用在于作为一个约束项限制损失函数J（sita），约束参数的个数。