TensorFlow2.X——子类以及lambda分别实现自定义DenseLayer层次

子类以及lambda分别实现自定义DenseLayer层次

1.在介绍子类继承layer层自定义层次前，介绍两个查看参数的方法。

layer.variables 可以查看层次中的变量
layer.trainable_variables 可以查看可训练的变量

示例：

import tensorflow as tf
layer = tf.keras.layers.Dense(100, input_shape = [None, 5])
layer(tf.zeros([2,5]))

运算结果矩阵有200个数据，

layer.variables

截取一部分变量：

x * w + b
<tf.Variable ‘dense_2/kernel:0’ shape=(5, 100) dtype=float32, numpy=
array([[ 8.61696750e-02, -1.33024722e-01, -1.06008053e-02
kernel 表示 W 参数
<tf.Variable ‘dense_2/bias:0’ shape=(100,) dtype=float32, numpy=
array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
bias 表示b偏差

同样我们可以查看可训练的参数

layer.trainable_variables

2.子类以及lambda分别实现自定义DenseLayer层次。

子类实现自定义是需要输入参数时使用，而如果我们不需要输入层次参数则可以选用lambda来构建自定义层次。

代码示例：

• 子类自定义实现

#customized  dense layer 
#使用子类继承Layer自定义

class CustomizedDenseLayer(keras.layers.Layer):
    
    def __init__(self, units, activation = None, **kwargs):
        self.units = units   #层次单元
        self.activation = keras.layers.Activation(activation)
        super().__init__(**kwargs)
        
    def build(self, input_shape):
        """构建所需要的函数"""
        # x * w + b.
        self.kernel = self.add_weight(name = 'kernel', 
                                      shape = (input_shape[1], self.units),
                                      initializer = 'uniform',
                                      trainable = True)
        self.bias = self.add_weight(name = 'bias',
                                    shape = (self.units, ),
                                    initializer = 'zeros',
                                    trainable = True
                                   )
        super().build(input_shape)
    
    def call(self, x):
        """完成正向计算"""
        return self.activation(x @ self.kernel + self.bias)

• lambda自定义实现，以softplus为例。

#如果自定义的函数不需要输入参数，则可以通过lambda来自定义层次
#tf.nn.softplus : log(1 + e^x)
Customized_softplus = keras.layers.Lambda(lambda x :tf.nn.softplus(x))

使用自定义层次构建网络：

#使用序贯模型Sequential   tf.keras.models.sequential()

model = keras.models.Sequential([
    #keras.layers.Flatten(input_shape = x_train.shape[1:]),如果数据已经展平，真不用再使用flatten。
    #使用自定义层次
    CustomizedDenseLayer(30, activation="relu",input_shape = x_train.shape[1:]),
    CustomizedDenseLayer(1),
    Customized_softplus,
    #最后一层lambda自定义层次相当于以下两种写法
    #keras.layers.Dense(1, activation = 'softplus')
    #keras.layers.Dense(1) , keras.layers.Activation('softplus')
])