keras中的正则化(regularization)

一、keras内置3种正则化方法

keras.regularizers.l1(lambda)
keras.regularizers.l2(lambda)
keras.regularizers.l1_l2(l1=lambda1, l2=lambda2)

目前我的理解是lambda越大，对参数的约束就越强，也就是惩罚力度越大。

其中L1正则化方法，是对|w|进行惩罚，使得w趋近0
而L2正则化方法，是对w²进行惩罚，使得w尽可能小

Dense，Conv1D，Conv2D，Conv3D有统一的正则化API，见keras中文文档。

二、3个正则化关键字

1. kernel_regularizer

对权值进行正则化，大多数情况下使用这个

2. bias_regularizer

限制bias的大小，使得输入和输出接近

3. activity_regularizer

对输出进行正则化，使得输出尽量小

参考博客：https://blog.csdn.net/xovee/article/details/92794763