tf.keras.layers 和 tf.layers 的一个区别

创建全连接层的时候tf 1.15  提供了2个函数：

tf.keras.layers.Dense 和 tf.layers.Dense  

这2个函数的用法看上去一模一样

tf.keras.layers.Dense(
    units, activation=None, use_bias=True, kernel_initializer='glorot_uniform',
    bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None,
    activity_regularizer=None, kernel_constraint=None, bias_constraint=None,
    **kwargs
)
tf.layers.Dense(
    units, activation=None, use_bias=True, kernel_initializer=None,
    bias_initializer=tf.zeros_initializer(), kernel_regularizer=None,
    bias_regularizer=None, activity_regularizer=None, kernel_constraint=None,
    bias_constraint=None, trainable=True, name=None, **kwargs
)

 但是在实际上使用的时候有一个大坑：正则项的保存位置

正常情况下，我们使用

weights = tf.get_variable(name='weights', initializer=init, regularizer=tf.nn.l2_loss)

来定义一个带有正则项的系数矩阵。（这里额外插一句，这种方法有一个缺陷，tf 只提供了tf.nn.l2_loss  而没有提供 tf.nn.l1_loss，呵呵呵呵呵，如果想用l1 正则，还是自己手动写吧）这样定义的系数矩阵的正则项保存在tf.GraphKeys.REGULARIZATION_LOSSES 中。

我用tf.layers.Dense 定义的全连接层，loss 也确实都在里面tf.GraphKeys.REGULARIZATION_LOSSES

 dense_layer = tf.layers.Dense(layer2_units, 
                                      use_bias=True, 
                                      trainable=is_training, 
                                       activation = tf.nn.leaky_relu,
                                       kernel_regularizer=tf.keras.regularizers.l1_l2(l1=0.001,l2=0.001))

 但是我用tf.keras.layers.Dense

 dense_layer = tf.keras.layers.Dense(layer2_units, 
                                      use_bias=True, 
                                      trainable=is_training, 
                                       activation = tf.nn.leaky_relu,
                                       kernel_regularizer=tf.keras.regularizers.l1_l2(l1=0.001,l2=0.001))

 发现loss 并没有保存在tf.GraphKeys.REGULARIZATION_LOSSES 中，几经查找，终于找到loss 保存在了 dense_layer.losses 中,而且仅仅定义了dense_layer是不会定义variable的，也就不会有正则产生，在dense_layer(input) 后才会定义variable ，然后产生正则项。一代码为例

import tensorflow as tf
aaa = tf.keras.layers.Dense(1, activation=None, name='deeepfmlinear', 
kernel_regularizer=tf.keras.regularizers.L1L2(l1=0.1, l2=0.1))  # 这里denselayer没生效，不会产生正则
ccc = tf.constant([[1,2,3,4,1,2,3,4,1,2,3,4,1,2,3,4,5]])
ddd = aaa(ccc) 这一行执行完了，才会产生正则项