Tensorflow 全连接详解 tf.layers.dense

最新推荐文章于 2024-09-11 16:18:07 发布

gaishilaji

最新推荐文章于 2024-09-11 16:18:07 发布

阅读量1.7k

点赞数

分类专栏： tensorflow

本文链接：https://blog.csdn.net/gaishilaji/article/details/88637863

版权

本文详细介绍了TensorFlow中全连接层`tf.layers.dense`的使用，重点关注units（输出维度）、激活函数和正则化。解释了如何通过`kernel_regularizer`参数设置L1或L2正则化，并强调损失函数必须包含`regularization_losses`来正确应用正则化。

摘要由CSDN通过智能技术生成

重点看加粗的
参数：
inputs：输入
units：整数或长整数,输出空间的维数.
activation：激活功能(可调用),将其设置为“None”以保持线性激活.
use_bias：Boolean,表示该层是否使用偏差.
kernel_initializer：权重矩阵的初始化函数；如果为None(默认),则使用tf.get_variable使用的默认初始化程序初始化权重.
bias_initializer：偏置的初始化函数.
kernel_regularizer：权重矩阵的正则化函数.
bias_regularizer：正规函数的偏差.
activity_regularizer：输出的正则化函数.
kernel_constraint：由Optimizer更新后应用于内核的可选投影函数(例如,用于实现层权重的范数约束或值约束).该函数必须将未投影的变量作为输入,并且必须返回投影变量(必须具有相同的形状).在进行异步分布式训练时,使用约束是不安全的.
bias_constraint：由Optimizer更新后应用于偏置的可选投影函数.
trainable：Boolean,如果为True,还将变量添加到图集合GraphKeys.TRAINABLE_VARIABLES中(请参阅参考资料tf.Variable).
name：String,图层的名称；具有相同名称的图层将共享权重,但为了避免错误,在这种情况下,我们需要reuse=True.
reuseÿ