[TensorFlow] [Keras] kernel_regularizer、bias_regularizer 和 activity_regularizer

前言

在设计深度学习模型的时候,我们经常需要使用正则化(Regularization)技巧来减少模型的过拟合效果,例如 L1 正则化、L2 正则化等。在Keras中,我们可以方便地使用三种正则化技巧:

  • keras.regularizers.l1
  • keras.regularizers.l2
  • keras.regularizers.l1_l2

那么,我们应该如何使用这三种正则化技巧呢?以Keras中的Dense层为例,我们发现有以下三个参数:

  • kernel_regularizer
  • bias_regularizer
  • activity_regularizer

这三个参数代表什么含义,我们该使用哪一个呢?国内论坛鲜少有相关讨论,写此文以记之。

三个参数的异同

kernel_regularizer:初看似乎有点费解,kernel代表什么呢?其实在旧版本的Keras中,该参数叫做weight_regularizer,即是对该层中的权值进行正则化,亦即对权值进行限制,使其不至于过大。
bias_regularizer:与权值类似,限制该层中 biases 的大小。
activity_regularizer:更让人费解,activity又代表什么?其实就是对该层的输出进行正则化。由此可见Keras的命名团队各个都是鬼才。

现在我们知道了这三个参数的异同,那么,我们该在什么时候使用哪一个参数呢?网友 Bloc97 [1] 如是说:

  1. 大多数情况下,使用kernel_regularizer就足够了;
  2. 如果你希望输入和输出是接近的,你可以使用bias_regularizer
  3. 如果你希望该层的输出尽量小,你应该使用activity_regularizer

实验

我们使用一个简单的模型来测试以下正则化的效果,基准代码如下:

from tensorflow.python import keras


mnist = keras.datasets.mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(x_train, y_train, epochs=10)
model.evaluate(x_test, y_test)

实验结果如下:

参数结果
no regularizer0.9770
kernel_regularizer=l1(0.001)0.9421
kernel_regularizer=l2(0.001)0.9690
kernel_regularizer=l2(0.0001)0.9785
kernel_regularizer=l1_l2(l1=0.0001, l2=0.0001)0.9753
bias_regularizer=l2(0.0001)0.9755
activity_regularizer=l2(0.0001)0.9764
kernel_regularizer=l2(0.0001)
bias_regularizer=l2(0.0001)
0.9771
activity_regularizer=l2(0.0001)0.9783
activation=‘linear’0.9233
activation='linear’
kernel_regularizer=l2(0.0001)
bias_regularizer=l2(0.0001)
0.9225
activation='linear’
activity_regularizer=l2(0.0001)
0.9199

实验结果(初步分析,并不绝对)说明:

  1. 正则化系数的选择很重要,选的不对容易有负面影响,选的好的话实验效果有提升;
  2. 实验四、五、六说明,在当前实验环境下,无论是 L1L2,还是 L1_L2,对实验结果影响都不大;

可能是由于 MNIST 任务太过于简单,实验结果区别都不是很大。具体使用哪种方法,只能由各位看官自己探索了。

Reference

  1. Bloc97. (December 17, 2018). Difference between kernel, bias, and activity regulizers in Keras. Retrieved from https://stats.stackexchange.com/questions/383310/difference-between-kernel-bias-and-activity-regulizers-in-keras
`slim.conv2d`是TensorFlow中Slim框架中的卷积层函数,而`tensorflow.keras.layers.conv2d`是TensorFlowKeras框架中的卷积层函数。 两者所提供的功能都是实现2D卷积层,但是使用方式和参数设置不同: `slim.conv2d`: ```python slim.conv2d(inputs, num_outputs, kernel_size, stride=1, padding='SAME', activation_fn=tf.nn.relu, normalizer_fn=None, weights_initializer=tf.truncated_normal_initializer(stddev=0.1), biases_initializer=tf.zeros_initializer(), scope=None) ``` 其中各参数含义为: - `inputs`:输入的tensor - `num_outputs`:卷积核的数量,也就是输出的通道数 - `kernel_size`:卷积核大小 - `stride`:卷积核滑动步长,默认为1 - `padding`:卷积层补零的方式,可以设置为`SAME`或者`VALID` - `activation_fn`:激活函数,默认为ReLu - `normalizer_fn`:正则化函数,如BN层 - `weights_initializer`:权重初始化函数 - `biases_initializer`:偏置初始化函数 - `scope`:变量作用域 `tensorflow.keras.layers.conv2d`: ```python tf.keras.layers.Conv2D(filters, kernel_size, strides=(1, 1), padding='valid', activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None, **kwargs) ``` 其中各参数含义为: - `filters`:输出的通道数 - `kernel_size`:卷积核的大小 - `strides`:卷积核滑动步长,默认为(1,1) - `padding`:卷积层补零方式,默认为`valid` - `activation`:激活函数,默认为`None` - `use_bias`:是否使用偏置 - `kernel_initializer`:权重初始化函数 - `bias_initializer`:偏置初始化函数 - `kernel_regularizer`:权重正则化函数 - `bias_regularizer`:偏置正则化函数 - `activity_regularizer`:输出正则化函数 - `kernel_constraint`:权重约束函数 - `bias_constraint`:偏置约束函数 总的来说,`tensorflow.keras.layers.conv2d`提供了更多的参数设置选项,控制更加细致,但对于简单的应用场景,`slim.conv2d`更简单方便。
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Xovee

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值