曹健老师 TensorFlow2.1 —— 第三章 神经网络八股

第一章

第二章

本章目的：使用 “ 八股 ” 搭建神经网络

3.1 搭建网络八股 Sequential 

用 Tensorflow API：tf.keras 搭建网络八股

六步法：

1. import
2. train，test                                                # 喂入网络的训练集和测试集
3. model = tf.keras.models.Sequential        # 在 Sequential 中搭建网络结构，逐层描述每层网络，即前向传播
4. model.compile                                         # 在 compile 中配置训练方法，告知训练时对优化器、损失函数、评测指标的选择
5. model.fit                                                  #  执行训练过程，告知训练集和测试集的输入特征和标签、batch size 、epoch 
6. model.summary                                      # 打印网络的结构和参数统计

• Sequential ( ) : 可以看作是一个容器，里面封装了神经网络结构，需要描述从输入层到输出层每一层的网络结构.

model = tf.keras.models.Sequential([ 网络结构 ])    # 描述各层网络
# 网络结构举例：
# 拉直层： (不含计算，只是形状转换，把输入特征拉直变为一维数组)
tf.keras.layers.Flatten()

# 全连接层：()
tf.keras.layers.Dense(神经元个数, activation="激活函数", kernel_regularizer=哪种正则化)
# activation 可选 relu、softmax、sigmoid、tanh
# kernel_regularizer 可选 tf.keras.regularizers.l1(), tf.keras.regularizers.l2()

# 卷积层
tf.keras.layers.Conv2D(filters=卷积核个数, kernel_size=卷积核尺寸, strides=卷积步长, padding=“valid” or "same")

# LSTM 层
tf.keras.layers.LSTM()

• compile ( ) : 配置神经网络的训练方法.

model.compile(optimizer=优化器, loss=损失函数, metrics=["准确率"])
# metrics 为评测指标 

# optimizer 可选：
'sgd' or tf.keras.optimizers.SGD(lr=学习率, momentum=动量参数)
'adagrad' or tf.keras.optimizers.Adagrad(lr=学习率)
'adadelta' or tf.keras.optimizers.Adadelta(lr=学习率)
'adam' or tf.keras.optimizers.Adam(lr=学习率, beta_1=0.9, beta_2=0.999)

# loss 可选：
'mse' of tf.keras.losses.MeanSquaredError()
'sparse_categorical_crossentropy' of tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False)
# from_logits 表示是否是原始输出，即有没有经过概率分布

# Metrics 可选：
'accuracy': y_ 和 y 都是数值
'categorical_accuracy': y_ 和 y 都是独热编码（概率分布）
'sparse_categorical_accuracy': y_ 是数值，y 是独热编码

• fit ( ) : 执行训练过程.

model.fit( 训练集的输入特征, 训练集的标签, batch_size= , epochs= , validation_data=(测试集的输入特征, 测试集的标签), 
            validation_split=从训练集划分多少比例给测试集, validation_freq=多少次epoch测试一次 )
# batch_size 每次喂入神经网络的样本数
# epochs 要迭代多少次数据集
# validation_data 和 validation_split 选择一个
# 使用测试集验证结果，也可以换成验证集

• ​​​​​​​鸢尾花分类用六步法复现：

import tensorflow as tf
from sklearn import datasets
import numpy as np

x_train = datasets.load_iris().data
y_train = datasets.load_iris().target

# 随机打乱数据
np.random.seed(116)
np.random.shuffle(x_train)
np.random.seed(116)
np.random.shuffle(y_train)
np.random.seed(116)

# 构建神经网络结构
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(3, activation='softmax', kernel_regularizer=tf.keras.regularizers.l2())
])

model.compile(optimizer=tf.keras.optimizers.SGD(lr=0.1),
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics=['sparse_categorical_accuracy'])

model.fit(x_train, y_train, batch_size=32, epochs=500, validation_split=0.2, validation_freq=20)

model.summary()

3.2 搭建网络八股 class

用 Sequential 可以搭建出上层输出就是下层输入的顺序网络结构，但无法写出一些带有跳连的非顺序网络结构 ( 跳连：上层输出可能是下几层的部分输入 ). 这是，可以选择用类 class 搭建神经网络结构，使用 class 类封装一个神经网络结构.

class MyModel(Model):
# (Model) 表示继承了 Tensorflow 的 Model 类
    def __init__(self):
        super(MyModel,self).__init__()
        定义网络结构块
    def call(self, x):
        调用网络结构块，实现前向传播
        return y
model = MyModel()    # 实例化

以鸢尾花为例：

class IrisModel(Model):
    def __init__(self):
        super(IrisModel, self).__init__()
        self.d1 = Dense(3)    # 鸢尾花分类的单层网络是含有三个神经元的全连接
        
    def call(self, x):
        y = self.d1(x)
        return y

model = IrisModel()

3.3 MNIST 数据集

• MNIST 数据集：

提供 6 万张 28*28 像素点的 0～9 手写数字图片和标签，用于训练.

提供 1 万张 28*28 像素点的 0～9 手写数字图片和标签，用于测试.

• 导入 MNIST 数据集：

mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

• 作为输入特征，输入神经网络时，将数据拉伸为一维数组：

tf.keras.layers.Flatten()

• 数据集可视化：

# 可视化训练集输入特征的第一个元素
plt.imshow(x_train[0], cmap='gray')    # 绘制灰度图
plt.show()

# 打印出训练集输入特征的第一个元素
print("x_train[0]:\n", x_train[0])
# 打印出训练集标签的第一个元素
print("y_train[0]:\n", y_train[0])

# 打印出整个训练集输入特征形状
print("x_train.shape:\n", x_train.shape)
# 打印出整个训练集标签形状
print("y_train.shape:\n", y_train.shape)
# 打印出整个测试集输入特征形状
print("x_test.shape:\n", x_test.shape)
# 打印出整个测试集标签形状
print("y_test.shape:\n", y_test.shape)

• 定义神经网络 —— Sequential 和类两种方法

# 用 Sequential 定义
model = tf.keras.models.Sequential([
    tf.keras.layers.Flatten(),  # 把输入特征拉直为 784 个数值的一维数组
    tf.keras.layers.Dense(128, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])

# 用类定义
class MnistModel(Model):
    def __init__(self):
        super(MnistModel, self).__init__()
        self.flatten = Flatten()
        self.d1 = Dense(128, activation='relu')
        self.d2 = Dense(10, activation='softmax')

    def call(self, x):
        x = self.flatten(x)
        x = self.d1(x)
        y = self.d2(x)
        return y
model = MnistModel()

3.4 Fashion 数据集

• Fashion 数据集：

提供 6 万张 28*28 像素点的衣裤等图片和标签，用于训练.

提供 1 万张 28*28 像素点的衣裤等图片和标签，用于测试.

一共有十个分类.

• 导入 Fashion 数据集：

fashion = tf.keras.datasets.fashion_mnist
(x_train, y_train), (x_test, y_test) = fashion.load_data()