MindSpore图像分类训练resnet50实现

目录

一、mindspore简介

二、训练环境

三、数据集与数据加载

四、模型训练和验证

五、迁移学习

六、模型测试和导出

---

一、mindspore简介

         MindSpore是华为开源的全场景深度学习框架，旨在实现易开发、高效执行、全场景覆盖三大目标，其中易开发表现为API友好、调试难度低，高效执行包括计算效率、数据预处理效率和分布式训练效率，全场景则指框架同时支持云、边缘以及端侧场景。

       MindSpore支持的Windows和linux系统，其中Windows版本仅支持CPU运行，linux版本则支持GPU和NPU（华为昇腾系列处理器）。

       MindSpore官网地址：https://www.mindspore.cn/。官网包含了安装说明、教程、文档、官方开源模型等资源，方便初学者快速入门。

二、训练环境

硬件环境：cpu（i7-1165G7）、内存16G；

软件环境：windows10、python3.7、pycharm、mindspore1.5

三、数据集与数据加载

         MindSpore提供API接口直接加载Cirfar10、ImageNet、coco等开源数据集，对图像分类自定义数据集加载也十分方便。这里准备训练一个识别哈士奇和拉布拉多犬的二分类模型，首先需要准备图像并存入对应文件夹。如下：

 

         数据准备：数据集分为训练集和测试集，两种类别的图片数量尽量一致，训练集husky(399)、labrador(400)，验证集：husky(51)、labrador(49)。数据集文件结构：

dataset:                   train:                           husky:1.jpg...                           labrador:1.jpg...                   val:                           husky:1.jpg...                           labrador:1.jpg...

         加载数据集：将不同类别图像放在不同文件夹下，mindspore.dataset .ImageFolderDataset()接口可以直接对数据集进行加载和标注。        

train_data_path = 'dataset/train'

data_set = ds.ImageFolderDataset(data_path, num_parallel_workers=8, shuffle=True)

         图像预处理：图像解码、调整大小、标准化、矩阵转置。       

  image_size = [224, 224]

  mean = [0.485 * 255, 0.456 * 255, 0.406 * 255]

  std = [0.229 * 255, 0.224 * 255, 0.225 * 255]

  trans = [

        CV.Decode(),

        CV.Resize(image_size),

        CV.Normalize(mean=mean, std=std),

        CV.HWC2CHW()

    ]

         数据增强：如果数据集比较小，为了增强模型泛化能力，可以通过修改tran配置进行数据增强。        

trans = [

            CV.RandomCropDecodeResize(image_size, scale=(0.08, 1.0), ratio=(0.75, 1.333)),

            CV.RandomHorizontalFlip(prob=0.5),

            CV.Normalize(mean=mean, std=std),

            CV.HWC2CHW()

        ]

数据的map映射、批量处理和数据重复的操作：

data_set = data_set.map(operations=trans, input_columns="image", num_parallel_workers=8)
    data_set=data_set.map(operations=type_cast_op,input_columns="label",num_parallel_workers=8)

data_set = data_set.batch(batch_size, drop_remainder=True)

data_set = data_set.repeat(repeat_num)

四、模型训练和验证

         使用MindSpore官方resnet.py脚本构建一个resnet50网络。        

net = resnet50(2)

num_epochs=5

         定义优化器和损失函数：        

opt = nn.Momentum(params=net.trainable_params(), learning_rate=0.1, momentum=0.9)

loss = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean')

实例化模型：

model = Model(net, loss, opt, metrics={"Accuracy": nn.Accuracy()})

模型训练：

eval_param_dict = {"model":model,"dataset":val_ds,"metrics_name":"Accuracy"}

eval_cb = EvalCallBack(apply_eval, eval_param_dict,)

model.train(num_epochs,train_ds, callbacks=[eval_cb,TimeMonitor()],dataset_sink_mode=False)

         训练过程中，对每一个epoch进行验证，保留验证精度最好的模型参数。

         训练结束后，使用训练过程保存的精度最好的参数对验证集进行验证，并对验证结果可视化。

五、迁移学习

         MindSpore实现迁移学习流程：定义网络并加载预训练模型；删除预训练模型最后一层参数；给网络加载加载预训练参数；冻结除最后一层外所有参数。

# 加载预训练模型

param_dict = load_checkpoint('resnet50.ckpt')

# 获取最后一层参数的名字

filter_list = [x.name for x in net.end_point.get_parameters()]

# 删除预训练模型最后一层的参数

filter_checkpoint_parameter_by_list(param_dict, filter_list)

# 给网络加载参数

load_param_into_net(net, param_dict)

# 冻结除最后一层外的所有参数

for param in net.get_parameters():

    if param.name not in ["end_point.weight","end_point.bias"]:

         param.requires_grad = False

六、模型测试和导出

         测试模型：模型训练完成后，通过推理代码和测试集对模型进行评估。

推理实现代码：

import os

import numpy as np

import cv2

import mindspore.nn as nn

from mindspore import dtype as mstype

import mindspore.dataset.vision.c_transforms as CV

from mindspore import Model, Tensor, context, load_checkpoint, load_param_into_net

from resnet import resnet50

#设置使用设备，CPU/GPU/Ascend

context.set_context(mode=context.GRAPH_MODE, device_target="CPU")

def normalize(image):

    mean = [0.485 * 255, 0.456 * 255, 0.406 * 255]

    std = [0.229 * 255, 0.224 * 255, 0.225 * 255]

    image = cv2.resize(image, [224, 224], cv2.INTER_LINEAR)

    image = image / 1.0

    image = (image[:, :] - mean) / std

    image = image[:, :, ::-1].transpose((2, 0, 1))  # HWC-->CHW

    return image

def pre_deal(data_path):

    image = cv2.imread(data_path)

    norm_img = normalize(image)

    #norm_img = ms_normalize(image)

    images = [norm_img]

    images = Tensor(images, mstype.float32)

    return images

def infer(ckpt_path, data_path, num_class):

    image = pre_deal(data_path)

    net = resnet50(num_class)

    param_dict = load_checkpoint(ckpt_path)

    load_param_into_net(net, param_dict)

    loss = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean')

    model = Model(net, loss, metrics={"Accuracy": nn.Accuracy()})

    output = model.predict(image)

    print(output)

    pred = np.argmax(output.asnumpy(), axis=1)

    return pred

if __name__ == '__main__':

    ckpt_path = 'transfer_best.ckpt'

    data_path = 'test'

    class_name = {0: 'husky', 1: 'labrador'}

    for path in os.listdir(os.path.join(data_path)):

        path = os.path.join(data_path) + '/' + path

        print(path)

        result = infer(ckpt_path, path, 2)

        print(class_name[result[0]])

  为了方便推理部署，MindSpore支持导出MINDIR、AIR、ONNX三种格式。

from mindspore import export, load_checkpoint, load_param_into_net

from mindspore import Tensor

import numpy as np

from resnet import resnet50

net = resnet50(2)

# 将模型参数存入parameter的字典中

param_dict = load_checkpoint("best.ckpt")

# 将参数加载到网络中

load_param_into_net(net, param_dict)

input = np.random.uniform(0.0, 1.0, size=[1, 3, 224, 224]).astype(np.float32)

#导出模型，可导出ONNX、MINDIR、AIR格式

export(net, Tensor(input), file_name='resnet50_best', file_format='ONNX')

全部实现代码：

https://gitee.com/chen-jian51/mindspore_resnet50_husky_labrador/tree/master