机器学习 神经网络（手写数字识别）

首先需要明确，手写数字训练集使用的是MNIST数据集，官网地址如下：https://link.zhihu.com/?target=http%3A//yann.lecun.com/exdb/mnist/

网盘地址：https://pan.baidu.com/s/1JVzVOx9vxAn_tBeXsbAf_g，密码：locq

使用手写数字的MNIST数据集如上图所示，该数据集包含60,000个用于训练的样本和10,000个用于测试的样本，图像是固定大小(28x28像素)，其值为0到255。

整个案例的实现流程是：

数据加载，数据处理，模型构建，模型训练，模型测试，模型保存。

代码分析：

1.数据加载

首先导入相应的工具包：

import numpy as np
import matplotlib.pyplot as plt

# matplotlib的pyplot子库提供了和matlab类似的绘图API，方便用户快速绘制2D图表。
# matplotlib.pyplot是命令行式函数的集合，每一个函数都对图像作了修改，比如创建图形，在图像上创建画图区域，在画图区域上画线，在线上标注等。

plt.rcParams['figure.figsize'] = (7, 7)

import tensorflow as tf

# 数据集,使用手写数字的MNIST数据集
from tensorflow.keras.datasets import mnist

# 构建序列模型
from tensorflow.keras.models import Sequential

# 导入需要的层
from tensorflow.keras.layers import Dense, Dropout, Activation, BatchNormalization

# 导入辅助工具包
from tensorflow.keras import utils

# 正则化
from tensorflow.keras import regularizers

这里注意：

如果pycharm上安装tensorflow包错误，可以用win+R-CMD-cd python的Scripts文件目录-镜像下载。镜像下载命令：pip3 install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

类别总数:有0-9，10个数字，总共10类：

nb_classes = 10

加载数据集：

(X_train, y_train), (X_test, y_test) = mnist.load_data()

mnist.load_data 函数返回两个数组：

第一个是一个 n*m 维的 NumPy array(images), 这里的 n 是样本数(行数), m 是特征数(列数).

训练数据集包含 60,000 个样本,在 MNIST 数据集中的每张图片由 28 x 28 个像素点构成, 每个像素点用一个灰度值表示.

在这里, 我们将 28 x 28 的像素展开为一个一维的行向量, 这些行向量就是图片数组里的行(每行 784 个值, 或者说每行就是代表了一张图片).

函数返回的第二个数组包含了相应的目标变量, 也就是手写数字的类标签(整数 0-9)。

打印输出数据集的维度：

for i in range(9):
    plt.subplot(3, 3, i + 1)

输出可得：训练样本初始维度 (60000, 28, 28)，训练样本目标值初始维度 (60000,)

数据展示：将数据集的前九个数据集进行展示：

for i in range(9):
    plt.subplot(3, 3, i + 1)
    # 将整个图像窗口分为3行3列, 当前位置为i。
    # 其中各个参数也可以不用逗号分隔开。第一个参数代表子图的行数；第二个参数代表该行图像的列数； 第三个参数代表每行的第几个图像。

    # 以灰度图显示，不进行插值
    plt.imshow(X_train[i], cmap='gray', interpolation='none')

    # 设置图片的标题：对应的类别
    plt.title("数字{}".format(y_train[i]))

实现效果如下图所示：

2.数据处理

神经网络中的每个训练样本是一个向量，因此需要对输入进行重塑，使每个28x28的图像成为一个的784维向量。另外，将输入数据进行归一化处理，从0-255调整到0-1。

例如下图：

# 调整数据维度：每一个数字转换成一个向量,reshape（）函数用于在不更改数据的情况下为数组赋予新形状。
# 前面的参数是需要 reshape 的数组，后面的参数是新形状应与原始形状兼容。如果是整数，则结果将是该长度的一维数组。
X_train = X_train.reshape(60000, 784)
X_test = X_test.reshape(10000, 784)

# 格式转换
X_train = X_train.astype('float32')
X_test = X_test.astype('float32')

# 归一化：变为0-1
X_train /= 255
X_test /= 255

# 维度调整后的结果
print("训练集：", X_train.shape)
print("测试集：", X_test.shape)
# 输出为：训练集： (60000, 784)，测试集： (10000, 784)


# 将目标值转换为热编码的形式，注意处理的是目标值
Y_train = utils.to_categorical(y_train, nb_classes)
Y_test = utils.to_categorical(y_test, nb_classes)
# 将类别向量(从0到nb_classes的整数向量)映射为二值类别矩阵

 https://blog.csdn.net/lllindada/article/details/114123550  可以参考此网站对于to_categorical的详细解释 0-10大概转换成下图：

 3.模型构建

在这里我们构建只有3层全连接的网络来进行处理，最后一层全连接层即是输出层：

# 利用序列模型来构建模型
model = Sequential()

# 构建只有3层全连接的网络

# 全连接层，共512个神经元，输入维度大小为784
model.add(Dense(512, input_shape=(784,)))

# 激活函数使用relu
model.add(Activation('relu'))

# 使用正则化方法Dropout
model.add(Dropout(0.2))
# Dropout：在向前传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型的泛化性更强，因为它不会太依赖某些局部的特征。
# 不会过拟合

# 全连接层，共512个神经元,并加入L2正则化
model.add(Dense(512, kernel_regularizer=regularizers.l2(0.001)))

# BN层：就像激活函数层、卷积层、全连接层、池化层一样，BN(Batch Normalization)也属于网络的一层。
# 在网络的每一层输入的时候，又插入了一个归一化层，也就是先做一个归一化处理，然后再进入网络的下一层。
model.add(BatchNormalization())

# 激活函数
model.add(Activation('relu'))
model.add(Dropout(0.2))
# dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。

# 全连接层，输出层共10个神经元
model.add(Dense(10))

# softmax将神经网络输出的score转换为概率值。
# Softmax是一种激活函数，它可以将一个数值向量归一化为一个概率分布向量，且各个概率之和为1。
# Softmax可以用来作为神经网络的最后一层，用于多分类问题的输出。
model.add(Activation('softmax'))

4.模型编译

设置模型训练使用的损失函数交叉熵损失和优化方法adam，损失函数用来衡量预测值与真实值之间的差异，优化器用来使用损失函数达到最优：

# 模型编译，指明损失函数和优化器，评估指标
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

5. 模型训练

# batch_size是每次送入模型中样本个数，epochs是所有样本的迭代次数，并指明验证数据集
history = model.fit(X_train, Y_train,
                    batch_size=128, epochs=4, verbose=1,
                    validation_data=(X_test, Y_test))

# 绘制损失函数的变化曲线
plt.figure()

# 训练集损失函数变换
plt.plot(history.history["loss"], label="train_loss")

# 验证集损失函数变化
plt.plot(history.history["val_loss"], label="val_loss")
plt.legend()
plt.grid()

# 绘制准确率的变化曲线
plt.figure()

# 训练集准确率
plt.plot(history.history["accuracy"], label="train_acc")

# 验证集准确率
plt.plot(history.history["val_accuracy"], label="val_acc")
plt.legend()
plt.grid()

# 添加tensoboard观察:Tensorboard是tensorflow内置的一个可视化工具。
tensorboard = tf.keras.callbacks.TensorBoard(log_dir='./graph', histogram_freq=1,
                                             write_graph=True, write_images=True)
# 训练
history = model.fit(X_train, Y_train,
                    batch_size=128, epochs=4, verbose=1, callbacks=[tensorboard],
                    validation_data=(X_test, Y_test))

打开终端——指定存在文件的目录——打开下面命令： tensorboard --logdir="./"

在浏览器中打开指定网址，可查看损失函数和准确率的变化，图结构等。结果如下图所示：

6. 模型测试 

# 模型测试：verbose = 0 为不在标准输出流输出日志信息
# verbose = 1 为输出进度条记录
# verbose = 2 为每个epoch输出一行记录
# 注意： 默认为 1
score = model.evaluate(X_test, Y_test, verbose=1)
# 打印结果
print('测试集准确率:', score)

7.模型保存

# 保存模型架构与权重在h5文件中
model.save('my_model.h5')
# 加载模型：包括架构和对应的权重
model = tf.keras.models.load_model('my_model.h5')

参考学习网址：https://blog.csdn.net/mengxianglong123/article/details/1255855