基于CNN手写数字识别模型训练
一、CNN(卷积神经网络)简介
1.1 卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一,在图像处理和识别的方向上取得很大的成就,本文只要进行的是基于CNN卷积神经网络的数字识别模型训练。
1.2 卷积神经网络结构:输入层——隐藏层——输出层,其中隐藏层包括卷积层(Convolution)、池化层(Pooling)、全连接层(Dense),其结构基本如下
二、实验设计
2.1 实验环境搭建,在虚拟环境下安装python和导入库,其中包括tensorflow包和keras框架,在Windows环境下可以通过pip install tensorflow和pip install keras,在annacode环境下可以通过conda install tensorflow和conda install keras,开发工具为pycharm,在pycharm中需要配置所创建的python编译器,设置file——setting-——python interpreter选择创建的虚拟环境下的python编译器,设置如下。
2.2 包的导入,在训练模型的过程中需要导入keras框架下载数据集包 ,标签格式转化包,和keras框架下的全连接层,卷积层,池化层,扁平化,随机关闭神经元包,keras框架下模型顺序结构包,优化函数包,包导入结构如下:
import numpy as np
# 从keras的datasets导入数据集
from keras.datasets import mnist
# 全连接层,卷积层,池化层,扁平化,随机关闭神经元
from keras.layers import Dense,Dropout,MaxPool2D,Flatten,Convolution2D
#标签格式转化
from keras.utils import np_utils
# 导入顺序结构
from keras.models import Sequential
#导入Adma优化函数
from tensorflow.keras.optimizers import Adam
2.3 载入数据,利用minist.load_data()下载手写数字图片的训练集和测试集,其中训练集包括60000张黑白手写数字1-9,图像像素为28x28,测试集10000张黑白图像,像素同样28x28。
2.4 格式转化, 卷积神经网络输入层需要将下载的数据格式为(60000,28,28)转为(60000,28,28,1)后归一化,归一化除以255,归一化后数字大小代表着图片的颜色深浅,分别代表60000张图片,28长度。28宽度,1像素,如果彩色照片三通道R/G/B,此处填写3。标签转化为one-hot格式,这里使用的numpy下的untils中的to_categorical方法把训练和测试数据的标签数据分类,因为有10个数字,所以设置num_classes为10,因此定义10个类。代码如下
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)
2.5 通过model-Sequential()定义卷积模型的顺序结构,通过在这个模式中添加层级结构,首先是添加卷积层,利用model.add(Convolution2D(()),()处依次添加输入平面大小,卷积核大小,卷积窗口大小,步长,和卷积模式,激活函数的设定,其设定第一个卷积层如下:
model.add(Convolution2D(
input_shape=(28,28,1),#输入平面大小
filters=32,#卷积核大小
kernel_size=5,#卷积窗口大小为5
strides=1,#步长为1
padding='same',#边缘补0是same,不补零是valid
activation='relu'#激活函数
))
2.6 池化层设计,池化层的目的是缩小图像的大小,有两种方式,第一种是最大池化,选取方格中最大的数,第二种是平均池化,平均方格内的所有数字,第一个池化层设计如下:
model.add(MaxPool2D(
pool_size=2,#池化窗口大小
strides=2,#步长为2
padding='same'
))
2.7 第二个卷积层和池化层的设计与前面相同,由第一个卷积输入平面大小后,后面卷积不用再设置平面大小,设置如下
#第二个卷积层
model.add(Convolution2D(64,5,strides=1,padding='same',activation='relu'))
#第二个池化层
model.add(MaxPool2D(2,2,'same'))
2.8 经过第二次卷积和池化后,输入全连接层,在进入全连接层时,需要将数据扁平化,扁平化后在全连接层中需要设定进入的神经元个数,和激活函数方式是relu,又关闭百分之五十神经元,达到训练准确度的提高,最后通过第二个全连接层,最后一个全连接层的激活函数是softmax,设置如下:
#将输出扁平化
model.add(Flatten())
#第一个全连接层
model.add(Dense(1024,activation='relu'))
#Drop,百分之50关闭神经元
model.add(Dropout(0.5))
#第二个全连接层
model.add(Dense(10,activation='softmax'))
2.9 定义优化器以及loss function即损失函数,训练过程中计算准确率,优化器定义是adma=Adma(learning_rate=1e-4)。
model.compile(
optimizer=adam, # 使用的优化函数
loss='categorical_crossentropy',
metrics=['accuracy'] # 计算准确率
)
2.10 模型训练,batch_size=64表示每次会训练64张图片,把60000张图片训练完为1个周期epochs是迭代周期,所以这里设置要训练完10个周期。
model.fit(x_train, y_train, batch_size=64, epochs=10)
2.11 评估模型
# 评估模型,使用测试集
loss, accuracy = model.evaluate(x_test, y_test)
实验结果
训练准确率结果达到99%,如图
最终代码
import numpy as np
# 从keras的datasets导入数据集
from keras.datasets import mnist
# 全连接层,卷积层,池化层,扁平化,随机关闭神经元
from keras.layers import Dense,Dropout,MaxPool2D,Flatten,Convolution2D
#标签格式转化
from keras.utils import np_utils
# 导入顺序结构
from keras.models import Sequential
#导入Adma优化函数
from tensorflow.keras.optimizers import Adam
# 载入数据,得到训练集的数据和测试集的数据
(x_train, y_train), (x_test, y_test) = mnist.load_data()
'''-1是自动匹配数据的个数60000,长宽深度分别28,28,1,再归一化
'''
x_train = x_train.reshape(-1,28,28,1) / 255.0
x_test = x_test.reshape(-1,28,28,1) / 255.0
# 转换为 one hot 格式
'''这里使用的numpy下的untils中的to_categorical方法把标签数据给分类
因为有10个数字,所以设置num_classes为10,也就是10个类'''
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)
# 创建模型
model = Sequential()
#定义卷积核
model.add(Convolution2D(
input_shape=(28,28,1),#输入平面大小
filters=32,#卷积核大小
kernel_size=5,#卷积窗口大小为5
strides=1,#步长为1
padding='same',#边缘补0是same,不补零是valid
activation='relu'#激活函数
))
#定义第一个池化层
model.add(MaxPool2D(
pool_size=2,#池化窗口大小
strides=2,#步长为2
padding='same'
))
#第二个卷积层
model.add(Convolution2D(64,5,strides=1,padding='same',activation='relu'))
#第二个池化层
model.add(MaxPool2D(2,2,'same'))
#将输出扁平化
model.add(Flatten())
#第一个全连接层
model.add(Dense(1024,activation='relu'))
#Drop,百分之50关闭神经元
model.add(Dropout(0.5))
#第二个全连接层
model.add(Dense(10,activation='softmax'))
# 定义优化器
adam = Adam(learning_rate=1e-4)
# 定义优化器以及loss function即损失函数,训练过程中计算准确率
model.compile(
optimizer=adam, # 使用的优化函数
loss='categorical_crossentropy',
metrics=['accuracy'] # 计算准确率
)
# 训练模型,使用训练集
'''batch_size=64表示每次会训练64张图片,把60000张图片训练完为1个周期
epochs是迭代周期,所以这里设置要训练完10个周期'''
model.fit(x_train, y_train, batch_size=64, epochs=10)
# 评估模型,使用测试集
loss, accuracy = model.evaluate(x_test, y_test)
# 打印loss和accuracy的值
print('loss:', loss)
print('accuracy:', accuracy)