tf.layers.Dense vs tf.layers.dense

tf.layers.Dense是一个类，tf.layers.dense是一个函数。

Dense层就是密集连接（Densely-connected）层。该层实现了操作：outputs = activation(inputs * kernel + bias)，其中activation是作为activation参数传递的激活函数（如果不是None），是由层创建的权重矩阵，kernel是由层创建的权重矩阵，并且bias是由层创建的偏差向量（只有use_bias为True时）。

x = tf.placeholder(tf.float32, shape=[None, 3])
linear_model = tf.layers.Dense(units=1)
y = linear_model(x)

init = tf.global_variables_initializer()
sess.run(init)

print(sess.run(y, {x: [[1, 2, 3], [4, 5, 6]]}))

对于tf.layers.Dense，tf.layers.dense是它的快捷函数。两者唯一的区别是快捷函数版本是在单次调用中创建和运行层。尽管这种方法很方便，但无法访问tf.layers.Layer对象。这会让自省和调试变得更加困难，并且无法重复使用相应的层。例如，以下代码等同于较早的版本：

x = tf.placeholder(tf.float32, shape=[None, 3])
y = tf.layers.dense(x, units=1)

init = tf.global_variables_initializer()
sess.run(init)

print(sess.run(y, {x: [[1, 2, 3], [4, 5, 6]]}))

tf.layers.Dense.__init__

__init__(
    units,
    activation=None,
    use_bias=True,
    kernel_initializer=None,
    bias_initializer=tf.zeros_initializer(),
    kernel_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    bias_constraint=None,
    trainable=True,
    name=None,
    **kwargs
)

tf.layers.dense

dense(
    inputs,
    units,
    activation=None,
    use_bias=True,
    kernel_initializer=None,
    bias_initializer=tf.zeros_initializer(),
    kernel_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    trainable=True,
    name=None,
    reuse=None
)

 

 

参数：

• inputs：tf.layers.dense 的Tensor输入。
• units：整数或长整数，输出空间的维数。
• activation：激活功能（可调用），将其设置为“None”以保持线性激活。
• use_bias：Boolean，表示该层是否使用偏差。
• kernel_initializer：权重矩阵的初始化函数；如果为None（默认），则使用tf.get_variable使用的默认初始化程序初始化权重。
• bias_initializer：偏置的初始化函数。
• kernel_regularizer：权重矩阵的正则化函数。
• bias_regularizer：正规函数的偏差。
• activity_regularizer：输出的正则化函数。
• kernel_constraint：由Optimizer更新后应用于内核的可选投影函数（例如，用于实现层权重的范数约束或值约束）。该函数必须将未投影的变量作为输入，并且必须返回投影变量（必须具有相同的形状）。在进行异步分布式训练时，使用约束是不安全的。
• bias_constraint：由Optimizer更新后应用于偏置的可选投影函数。
• trainable：Boolean，如果为True，还将变量添加到图集合GraphKeys.TRAINABLE_VARIABLES中（请参阅参考资料tf.Variable）。
• name：String，图层的名称；具有相同名称的图层将共享权重，但为了避免错误，在这种情况下，我们需要reuse=True。
• reuse：Boolean，是否以同一名称重用前一层的权重。