MindSpore图片分类之代码实现

1. 摘要

    在前面两次的分享中，我们主要探讨了LeNet卷积神经网络，分析了卷积、池化、全连接这些操作运算的特点和用法，以及LeNet中每一层的计算和作用。在了解过该网络的原理后，那么本次我们将通过使用MindSpore工具实现MNIST数据集的分类。

2. 模型的构造

对于一个完整图片分类模型，通常有以下几个组成部分。

模型：假设一个样本图片信息是X(i)，输出标签为Y，那么我们需要建立基于输入X(i)和输出标签Y的表达式，也就是模型(model)。模型输出的Y是对真实样本的预测或估计，我们通常会允许它们之间有误差。

模型训练：通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小。这个过程叫作模型训练（model training）。下面我们介绍模型训练所涉及的3个要素。

训练数据：我们通常使用一系列的真实数据，例如多个图片的真实标签和它们包含的不同像素数组。我们希望在这个数据上面寻找模型参数来使模型的预测结果更接近真实标签。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一个图片被称为一个样本（sample），其真实类别叫作标签（label），用来预测标签的因素叫作特征（feature）。特征用来表征样本的特点。

损失函数：在模型训练中，我们需要衡量预测类别与真实类别之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。

优化算法：当模型和损失函数形式较为简单时，最优解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。

模型预测：模型训练完成后，我们将模型参数在优化算法停止时的值分别记录。注意，这里我们得到的并不一定是最小化损失函数的最优解，而是对最优解的一个近似。然后，我们就可以使用学出的图片分类模型来估算训练数据集以外任意一张图片所属的类别了。这里的估算也叫作模型预测、模型推断或模型测试。

3. MindSpore代码实现

我们将在下面代码是使用MindSpore深度学习框架实现的，下面逐步分析我们项目中所使用的数据、模型、损失函数、优化算法、模型验证。

3.1 数据集准备

MNIST数据集(Mixed National Institute of Standards and Technology database)是大型手写数字数据库,包含60000个示例的训练集以及10000个示例的测试集，每个样本图像的宽高为28*28的灰度图。

下面提供了两种数据集的使用方式：

（1）数据集已经在同级文件夹目录下时，可执行下段代码解压使用。

def unzipfile(gzip_path):
    """unzip dataset file
    Args:
        gzip_path: dataset file path
    """
    open_file = open(gzip_path.replace('.gz',''), 'wb')
    gz_file = gzip.GzipFile(gzip_path)
    open_file.write(gz_file.read())
    gz_file.close()

（2）文件夹中还没有数据集的时候，需要下载使用。

def download_dataset():
    """Download the dataset from http://yann.lecun.com/exdb/mnist/."""
    print("******Downloading the MNIST dataset******")
    train_path = "./MNIST_Data/train/"
    test_path = "./MNIST_Data/test/"
    train_path_check = os.path.exists(train_path)
    test_path_check = os.path.exists(test_path)
    if train_path_check == False and test_path_check ==False:
        os.makedirs(train_path)
        os.makedirs(test_path)
    train_url = {"http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz", "http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz"}
    test_url = {"http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz", "http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz"}
    for url in train_url:
        url_parse = urlparse(url)
        # split the file name from url
        file_name = os.path.join(train_path,url_parse.path.split('/')[-1])
        if not os.path.exists(file_name.replace('.gz','')):
            file = ur