基于Tensorflow2 和Keras的模型构建及训练过程的几种写法

基于Tensorflow2 和Keras的模型构建及训练过程的几种写法

针对深度神经网络，Tensorflow2和Keras提供了丰富的API来构建和训练模型。

本文尝试使用多种方法来构建模型、训练模型。

1. 加载Tensorflow

这里加载了tensorflow和time库，其中tensorflow版本为2.0+。

import tensorflow as tf
import time

2. 加载数据

本文使用CIFAR10数据库来进行实验，并通过tensorflow来加载数据。

其中数据的shape为(None, 32, 32, 3)，(None, 1, 1)。

在训练前，需要对数据进行预处理，主要包括：

• 图像归一化
• 标签reshape为(None, 1)
• 标签onehot编码

(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.cifar10.load_data()

train_images, test_images = train_images / 255.0, test_images / 255.0

train_labels = tf.reshape(train_labels, shape=[train_labels.shape[0]])
test_labels = tf.reshape(test_labels, shape=[test_labels.shape[0]])
train_labels, test_labels = tf.one_hot(train_labels, depth=10), tf.one_hot(test_labels, depth=10)

预处理完后，构建Dataset示例，方便后期训练。

train_dataset = tf.data.Dataset.from_tensor_slices((train_images, train_labels))
train_dataset = train_dataset.shuffle(buffer_size=1024).batch(64)

test_dataset = tf.data.Dataset.from_tensor_slices((test_images, test_labels))
test_dataset = test_dataset.shuffle(buffer_size=1024).batch(64)

3. 构建模型

本文使用一个简单的ResNet结构的模型来进行实验。其中，模型共包括2个Residual Block。具体的模型结构见代码。

下面尝试使用多种方法来构建模型，如：

• 函数式API
• 子类化模型
• 序列化模型

实际应用中，根据具体场景选取合适的构建方式即可。

3.1 函数式API

inputs = tf.keras.Input（shape=(32, 32, 3)）
x = tf.keras.layers.Conv2D(32, 3, padding='same', activation='relu')(inputs)
x = tf.keras.layers.MaxPooling2D()(x)

temp = x
for filter in [64, 128]:
    x = tf.keras.layers.Conv2D(filter, 3, padding='same')(x)
    x = tf.keras.layers.BatchNormalization()(x)
    x = tf.keras.layers.ReLU()(x)
    
	x = tf.keras.layers.Conv2D(filter, 3, padding='same')(x)
    x = tf.keras.layers.BatchNormalization()(x)
    
    res = tf.keras.layers.Conv2D(filter, 1)(temp)
    x = tf.keras.layers.add([x, res])
    
    x = tf.keras.layers.ReLU()(x)
    x = tf.keras.layers.MaxPooling2D()(x)
    
    temp = x

x = tf.keras.layers.GlobalAvgPool2D()(x)
x = tf.keras.layers.Dense(128)