自定义全连接层示例

        全连接层一般在特征提取网络之后，用作对特征的分类，常出现在最后几层，下面将以代码为示例，简要介绍自定义全连接层的设计方法。

第一步：导入所需模块

import tensorflow as tf
import numpy as np
from sklearn.datasets import load_iris

第二步：准备数据

data = load_iris()

iris_data = np.float32(data.data)
iris_target = (data.target)
iris_target = np.float32(tf.keras.utils.to_categorical(iris_target, num_classes=3))
train_data = tf.data.Dataset.from_tensor_slices((iris_data, iris_target)).batch(128)

 第三步：设置自定义的全连接层

class MyLayer(tf.keras.layers.Layer):
    def __init__(self, output_dim):
        self.output_dim = output_dim
        super(MyLayer, self).__init__()

    def build(self, input_shape):
        self.weight = tf.Variable(tf.random.normal([input_shape[-1], self.output_dim]), name="dense_weight")
        self.bias   = tf.Variable(tf.random.normal([self.output_dim]), name="bias_weight")
        super(MyLayer, self).build(input_shape)

    def call(self, input_tensor):
        out = tf.matmul(input_tensor, self.weight) + self.bias
        out = tf.nn.relu(out)
        out = tf.keras.layers.Dropout(0.1)(out)
        return out

        其中，自定义的全连接层主要由__init__、build、call这三个函数所组成，__init__函数进行一些必要的参数的初始化，，显式指定；build函数用于声明更新的参数部分，如权重与偏置等；call函数用于自定义全连接层的计算，返回计算值。

第四步：建立网络模型

input_xs = tf.keras.Input(shape=(4,), name='input_xs')
out = tf.keras.layers.Dense(32, activation='relu', name='dense_1')(input_xs)
out = MyLayer(32)(out)
out = MyLayer(48)(out)
out = tf.keras.layers.Dense(64, activation='relu', name='dense_2')(out)
logits = tf.keras.layers.Dense(3, activation="softmax", name='predictions')(out)

model = tf.keras.Model(inputs = input_xs, outputs = logits)

第五步：设置优化器与损失函数，并进行训练

opt = tf.optimizers.Adam(1e-3)
loss = tf.losses.categorical_crossentropy
model.compile(optimizer=opt, loss=loss, metrics=['accuracy'])
model.fit(train_data, epochs=1000)
score = model.evaluate(iris_data, iris_target)
print("last score:", score)

第六步：显示训练结果