深度学习案例(一)
这是我参加百度课程《百度架构师手把手带你零基础实践深度学习
》的第二个案例。
案例介绍
本案例为构建一个简单的手写数字识别模型。即构建模型用于识别数据集mnist中的手写数字(0、1、2、3…9),并通过调节模型中的学习率、优化器、隐藏层数等来改变模型对手写数字识别的准确率。
在本文案例中很多地方会让你觉得雨里雾里的,这是非常正常的,在参加这门课程时,我在学习中反反复复看了老师们提供的文案和视频教程,在结合百度搜索,反复练习课程中提供的案例,一点一点的吸收课程中的知识。
案例中的数据集:链接: mnist数据集. 密码:lhf8
环境配置
python环境 python3任意版本,反正我是用最高版本的
我使用的pycharm编写代码,代码中的第三方库在pycharm中均可安装,本次案例用到的第三方库有:numpy、matplotlib、paddle这三个,其它的在调试过程中根据需要进行安装,安装这一块网上有不少教程,这一部分就不进行过多的展开,通过搜素引擎检索知识是作为程序员的必备经验,大家加油吧。
模型构建
基本结构:导入模块——数据加载——训练配置——训练过程——保存模型
导入模块
import random # python中的随机数模块
import paddle # paddle深度学习框架包,可以不导入
import paddle.fluid as fluid # paddle深度学习框架包中的一个模块
from paddle.fluid.dygraph.nn import Conv2D,Pool2D,Linear # paddle框架中的卷积层、池化层、线性变化
import numpy as np # 强大的第三方运算库
import matplotlib.pyplot as plt # 绘图工具,可以不导入
import gzip # 解压工具
import json # 文件读取
数据加载
# 传入参数为train、valid、test,分别用于加载训练集、验证集和测试集
def load_data(mode = 'train'):
# 数据集路径,与.py文件放在同一文件夹下
datafile = 'mnist.json.gz'
# 解压数据集并加载数据
data = json.load(gzip.open(datafile))
# 数据集中含有70000张图片,训练集50000张、验证集10000张、测试集10000张
train_data,val_data,test_data = data
if mode == 'train': # 当传入参数为“train”时,
images_data,images_label = train_data[0],train_data[1]
elif mode == 'valid': # 当传入参数为“valid”时
images_data,images_label = val_data[0],val_data[1]
elif mode == 'test': # 当传入参数为“test”时
images_data,images_label = test_data[0],test_data[1]
# 获取图片的数量,数据集信息可用np.array().shape获取
image_len = len(images_data)
# 图片由(-1,1)之间的数字组成,因此图片又被称为数字图像
# 图片行数
IMAGE_ROW = 28
# 图片列数
IMAGE_COL = 28
# 模型每次读取数据集个数
BATCH_NUM = 100
# 图片编号,构建(0,1,2....image_len-1)相对于为每张图片进行编号,从0开始
index_list = list(range(image_len))
# 数据读取
def data_generator():
if mode == 'train':
# 乱序,打乱图片顺序
random.shuffle(index_list)
# 建立一个用来存储图片的空list
image_list = []
# 建立一个用来存储标签的空list
label_list = []
# 遍历数据集
for i in index_list:
# 加载第i个数据集中的图片,并对其重新排列
image = np.reshape(images_data[i],[1,IMAGE_ROW,IMAGE_COL]).astype('float32')
# 加载第i个数据集中的标签,并对其重新排列
label = np.reshape(images_label[i],[1]).astype('int64')
# 将加载进来的图片存入list中
image_list.append(image)
# 将加载进来的标签存入list中
label_list.append(label)
# 当list中的个数为100个时,将数据集进行返回
if len(image_list) == BATCH_NUM:
# yield用于分批读取数据用于减少计算机负担
yield np.