第四章：Tensorflow 2.0 实现自定义层和自定义模型的编写并实现cifar10 的全连接网络（理论+实战）

通过阅读少奶奶上一篇博文，我们初步实现了调用Tensorflow 2.0 提供的keras模块下的方法，使用极少的代码完成了一个五层的全连接网络，具体代码如下：

                                 

若小伙伴需要复习一下上一篇博文的内容的话，少奶奶这里给出对应链接，希望对大家有所帮助：

             第三章：Tensorflow 2.0 利用高级接口实现对cifar10 数据集的全连接（理论+实战实现）

我相信，通过阅读上一篇博文，大家已经初步领略了Tensorflow 2.0 良好的封装性，我们只需要书写几行代码就能实现较为复杂的全连接神经网络。那么，我们如何实现自定义的神经网络呢？下面开始正文讲解。

利用Tensorflow 2.0 的keras模块中的方法，实现自定义的神经网络层和模型

1，实现自定义层

要实现自定义层，我们的类需要先继承keras.layers.Layer，并在新的类中实现_ _init_ _()和call()这两个方法。因为，当模型进行前向传播时，model类会先调用Dense层母类中的_ _ init _ _()方法，母类中的_ _ init_ _()方法会调用子类当中的call()方法，并执行call()中对应的逻辑。具体代码如下：  

   

我们可以简单理解为，在自定义层类中，_ _init_ _()方法需要先调用母类中的_ _init_ _()方法，然后定义一些参数（通常是权重）。然后，在call()方法中，构建层结构（这里构建的是线性结构）

2，实现自定义模型

要实现自定义模型，我们的模型类需要先继承keras.layers.Model类，这样我们的模型类就能使用母类中的许多方法，例如：compile、fit、  evaluate等。然后，在模型类中实现_ _init_ _()和call()这两个方法。其原理和自定义层是一样的。下面给出代码

                  

我们在模型类的__init__()方法中，调用自定义层，并为它设置每一层的连接数。在call方法中，我们为每一层传入训练数据，并添加一个激活函数，提高模型的表达能力。

实战

import tensorflow as tf
from tensorflow import keras
from  tensorflow.keras import datasets, layers, optimizers, Sequential, metrics

import os


os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2"


(x ,y), (test_x ,test_y) = datasets.cifar10.load_data()
print(x.shape, y.shape)

def progross (x, y):
    x = 2 * tf.cast(x, dtype=tf.float32) / 255. - 1.
    y = tf.one_hot(y, depth=10, dtype=tf.int32)
    y = tf.squeeze(y,axis=0)
    return x, y


db_train = tf.data.Dataset.from_tensor_slices((x,y)).shuffle(1000)
db_train = db_train.map(progross).batch(128)

db_test = tf.data.Dataset.from_tensor_slices((test_x,test_y))
db_test = db_test.map(progross).batch(128)


train_inter = iter(db_train)
train_next = next(train_inter)
print(train_next[0].shape, train_next[1][1])


# 继承layers.Layer方法
class myDense (layers.Layer):
    # 实现__init__()方法
    def __init__(self, in_dim, out_dim):
        # 调用母类中的__init__()
        super(myDense, self).__init__()

        self.kernel = self.add_variable('w', [in_dim, out_dim])
        self.bias = self.add_variable('b', [out_dim])
    # 实现call()方法
    def call(self, inputs, training = None):
        # 构建模型结构
        out = inputs @ self.kernel + self.bias
        return out

# 继承keras.Model母类
class myModel (keras.Model):

    def __init__(self):
        # 调用母类中的__init__()方法
        super(myModel, self).__init__()
        # 调用自定义层类 并构建每一层的连接数
        self.fc1 = myDense(32*32*3 ,256)
        self.fc2 = myDense(256, 128)
        self.fc3 = myDense(128, 64)
        self.fc4 = myDense(64, 32)
        self.fc5 = myDense(32, 10)

    # 构建一个五层的全连接网络
    def call(self, inputs, training = None):
        # 把输入模型中的图片进行打平操作
        inputs = tf.reshape(inputs, [-1, 32 * 32 * 3])
        # 把训练数据输入到自定义层中
        x = self.fc1(inputs)
        # 利用relu函数进行非线性激活操作
        out = tf.nn.relu(x)
        x = self.fc2(out)
        out = tf.nn.relu(x)
        x = self.fc3(out)
        out = tf.nn.relu(x)
        x = self.fc4(out)
        out = tf.nn.relu(x)
        x = self.fc5(out)
        return x


netWork = myModel()
netWork.build(input_shape=[None, 32*32*3])
netWork.summary()

netWork.compile(optimizer = optimizers.Adam(lr = 1e-3),
                loss = tf.losses.CategoricalCrossentropy(from_logits = True),
                metrics=['accuracy']
                )
netWork.fit(db_train, epochs=10, validation_data=db_test,
            validation_freq=2
            )
netWork.evaluate(db_test)

在下一章中，少奶奶将使用13层的卷积神经网络实现对cifar 100数据集的训练，其中代码的编写将综合前四章中所提到的所有知识点，希望对大家有帮助，

 

开篇：开启Tensorflow 2.0时代

第一章：Tensorflow 2.0 实现简单的线性回归模型（理论+实践）

第二章：Tensorflow 2.0 手写全连接MNIST数据集（理论+实战）

第三章：Tensorflow 2.0 利用高级接口实现对cifar10 数据集的全连接（理论+实战实现）

第四章：Tensorflow 2.0 实现自定义层和自定义模型的编写并实现cifar10 的全连接网络（理论+实战）

第五章：Tensorflow 2.0 利用十三层卷积神经网络实现cifar 100训练（理论+实战）

第六章：优化神经网络的技巧（理论）

第七章：Tensorflow2.0 RNN循环神经网络实现IMDB数据集训练（理论+实践）

第八章：Tensorflow2.0 传统RNN缺陷和LSTM网络原理（理论+实战）