基于CNN卷积神经网络手写数字识别模型

一、CNN（卷积神经网络）简介

1.1 卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，在图像处理和识别的方向上取得很大的成就，本文只要进行的是基于CNN卷积神经网络的数字识别模型训练。
1.2 卷积神经网络结构：输入层——隐藏层——输出层，其中隐藏层包括卷积层（Convolution）、池化层(Pooling)、全连接层(Dense)，其结构基本如下

二、实验设计

2.1 实验环境搭建，在虚拟环境下安装python和导入库，其中包括tensorflow包和keras框架，在Windows环境下可以通过pip install tensorflow和pip install keras，在annacode环境下可以通过conda install tensorflow和conda install keras，开发工具为pycharm，在pycharm中需要配置所创建的python编译器，设置file——setting-——python interpreter选择创建的虚拟环境下的python编译器，设置如下。

2.2 包的导入，在训练模型的过程中需要导入keras框架下载数据集包 ，标签格式转化包，和keras框架下的全连接层，卷积层，池化层，扁平化，随机关闭神经元包，keras框架下模型顺序结构包，优化函数包，包导入结构如下：

import numpy as np
# 从keras的datasets导入数据集
from keras.datasets import mnist
# 全连接层，卷积层，池化层，扁平化，随机关闭神经元
from keras.layers import Dense,Dropout,MaxPool2D,Flatten,Convolution2D
#标签格式转化
from keras.utils import np_utils
# 导入顺序结构
from keras.models import Sequential
#导入Adma优化函数
from tensorflow.keras.optimizers import Adam

2.3 载入数据，利用minist.load_data()下载手写数字图片的训练集和测试集，其中训练集包括60000张黑白手写数字1-9，图像像素为28x28,测试集10000张黑白图像，像素同样28x28。

2.4 格式转化， 卷积神经网络输入层需要将下载的数据格式为（60000，28，28）转为（60000，28，28，1）后归一化，归一化除以255，归一化后数字大小代表着图片的颜色深浅，分别代表60000张图片，28长度。28宽度，1像素，如果彩色照片三通道R/G/B，此处填写3。标签转化为one-hot格式，这里使用的numpy下的untils中的to_categorical方法把训练和测试数据的标签数据分类，因为有10个数字，所以设置num_classes为10，因此定义10个类。代码如下

y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)

2.5 通过model-Sequential()定义卷积模型的顺序结构,通过在这个模式中添加层级结构，首先是添加卷积层，利用model.add（Convolution2D（（）），（）处依次添加输入平面大小，卷积核大小，卷积窗口大小，步长，和卷积模式，激活函数的设定，其设定第一个卷积层如下：

model.add(Convolution2D(
    input_shape=(28,28,1),#输入平面大小
    filters=32,#卷积核大小
    kernel_size=5,#卷积窗口大小为5
    strides=1,#步长为1
    padding='same',#边缘补0是same，不补零是valid
    activation='relu'#激活函数
))

2.6 池化层设计，池化层的目的是缩小图像的大小，有两种方式，第一种是最大池化，选取方格中最大的数，第二种是平均池化，平均方格内的所有数字，第一个池化层设计如下：

model.add(MaxPool2D(
    pool_size=2,#池化窗口大小
    strides=2,#步长为2
    padding='same'
))

2.7 第二个卷积层和池化层的设计与前面相同，由第一个卷积输入平面大小后，后面卷积不用再设置平面大小，设置如下

#第二个卷积层
model.add(Convolution2D(64,5,strides=1,padding='same',activation='relu'))
#第二个池化层
model.add(MaxPool2D(2,2,'same'))

2.8 经过第二次卷积和池化后，输入全连接层，在进入全连接层时，需要将数据扁平化，扁平化后在全连接层中需要设定进入的神经元个数，和激活函数方式是relu，又关闭百分之五十神经元，达到训练准确度的提高，最后通过第二个全连接层，最后一个全连接层的激活函数是softmax，设置如下：

#将输出扁平化
model.add(Flatten())
#第一个全连接层
model.add(Dense(1024,activation='relu'))
#Drop，百分之50关闭神经元
model.add(Dropout(0.5))
#第二个全连接层
model.add(Dense(10,activation='softmax'))

2.9 定义优化器以及loss function即损失函数，训练过程中计算准确率，优化器定义是adma=Adma（learning_rate=1e-4）。

model.compile(
    optimizer=adam,  # 使用的优化函数
    loss='categorical_crossentropy',
    metrics=['accuracy']  # 计算准确率
)

2.10 模型训练，batch_size=64表示每次会训练64张图片，把60000张图片训练完为1个周期epochs是迭代周期，所以这里设置要训练完10个周期。

model.fit(x_train, y_train, batch_size=64, epochs=10)

2.11 评估模型

# 评估模型，使用测试集
loss, accuracy = model.evaluate(x_test, y_test)

实验结果

训练准确率结果达到99%，如图

最终代码

import numpy as np
# 从keras的datasets导入数据集
from keras.datasets import mnist
# 全连接层，卷积层，池化层，扁平化，随机关闭神经元
from keras.layers import Dense,Dropout,MaxPool2D,Flatten,Convolution2D
#标签格式转化
from keras.utils import np_utils
# 导入顺序结构
from keras.models import Sequential
#导入Adma优化函数
from tensorflow.keras.optimizers import Adam

# 载入数据,得到训练集的数据和测试集的数据
(x_train, y_train), (x_test, y_test) = mnist.load_data()
'''-1是自动匹配数据的个数60000,长宽深度分别28，28，1,再归一化
'''
x_train = x_train.reshape(-1,28,28,1) / 255.0
x_test = x_test.reshape(-1,28,28,1) / 255.0
# 转换为 one hot 格式
'''这里使用的numpy下的untils中的to_categorical方法把标签数据给分类
因为有10个数字，所以设置num_classes为10，也就是10个类'''
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)

# 创建模型
model = Sequential()
#定义卷积核
model.add(Convolution2D(
    input_shape=(28,28,1),#输入平面大小
    filters=32,#卷积核大小
    kernel_size=5,#卷积窗口大小为5
    strides=1,#步长为1
    padding='same',#边缘补0是same，不补零是valid
    activation='relu'#激活函数
))
#定义第一个池化层
model.add(MaxPool2D(
    pool_size=2,#池化窗口大小
    strides=2,#步长为2
    padding='same'
))
#第二个卷积层
model.add(Convolution2D(64,5,strides=1,padding='same',activation='relu'))
#第二个池化层
model.add(MaxPool2D(2,2,'same'))
#将输出扁平化
model.add(Flatten())
#第一个全连接层
model.add(Dense(1024,activation='relu'))
#Drop，百分之50关闭神经元
model.add(Dropout(0.5))
#第二个全连接层
model.add(Dense(10,activation='softmax'))
# 定义优化器
adam = Adam(learning_rate=1e-4)
# 定义优化器以及loss function即损失函数，训练过程中计算准确率
model.compile(
    optimizer=adam,  # 使用的优化函数
    loss='categorical_crossentropy',
    metrics=['accuracy']  # 计算准确率
)

# 训练模型,使用训练集
'''batch_size=64表示每次会训练64张图片，把60000张图片训练完为1个周期
 epochs是迭代周期，所以这里设置要训练完10个周期'''
model.fit(x_train, y_train, batch_size=64, epochs=10)

# 评估模型，使用测试集
loss, accuracy = model.evaluate(x_test, y_test)

# 打印loss和accuracy的值
print('loss:', loss)
print('accuracy:', accuracy)