python 正则化_python – 理解Keras中的正则化

我试图理解为什么Keras中的正则化语法看起来像它那样.

粗略地说,正则化是通过在与模型权重的某些函数成比例的损失函数中添加惩罚项来减少过度拟合的方法.因此,我希望正则化将被定义为模型损失函数规范的一部分.

然而,在Keras中,正则化是基于每层定义的.例如,考虑这种正规化的DNN模型：

input = Input(name='the_input', shape=(None, input_shape))

x = Dense(units = 250, activation='tanh', name='dense_1', kernel_regularizer=l2, bias_regularizer=l2, activity_regularizer=l2)(x)

x = Dense(units = 28, name='dense_2',kernel_regularizer=l2, bias_regularizer=l2, activity_regularizer=l2)(x)

y_pred = Activation('softmax', name='softmax')(x)

mymodel= Model(inputs=input, outputs=y_pred)

mymodel.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])

我原本期望Dense图层中的正则化参数不需要,我可以写下最后一行更像：

mymodel.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'], regularization='l2')

这显然是错误的语法,但我希望有人可以详细说明为什么这种方式定义了正则化,以及当我使用层级正则化时实际发生了什么.

我不明白的另一件事是在什么情况下我会使用三个正则化选项中的每一个或全部：(kernel_regularizer,activity_regularizer,bias_regularizer)？