mxnet实战笔记(1) - 使用自己的图片数据训练CNN模型

最新推荐文章于 2024-05-26 16:04:04 发布

风雨破老鼠

最新推荐文章于 2024-05-26 16:04:04 发布

阅读量4.3k

点赞数

分类专栏： Deep 文章标签： cnn 深度学习 mxnet

本文链接：https://blog.csdn.net/storMouse/article/details/56115308

版权

前言

很久之前笔者就配好了mxnet环境，却因为种种原因始终没有进行系统的学习，其中一个原因是mxnet的文档不甚详细，相关教程数量和TensorFlow等框架相比也比较少，不太容易上手。因此，笔者计划近期写几篇文章来整合mxnet的零散知识，一方面补充网上很多教程都缺乏的实际使用细节，另一方面督促自己坚持深度学习实践。废话不多说，我们现在开始！

本篇笔记记录了我使用Kaggle的”dogs vs cats”图像数据集训练CNN模型的全过程，主要内容包括：数据集的获取、图像预处理成mxnet的标准格式、使用数据迭代DataIter来输入数据、使用（别人写好的）CNN、训练模型。

笔者的实现https://github.com/stormouse/mxnet-practice/tree/master/image_clf_net，供参考。

数据集的获取

本次实验使用的数据集来自Kaggle的Dogs vs. Cats竞赛，数据可以在登录Kaggle后进行下载：
https://www.kaggle.com/c/dogs-vs-cats/data

下载后有三个文件sampleSubmission.csv, train.zip, test1,zip。其中csv文件是提交Kaggle竞赛的样例文件；train.zip中有数万张带标注的猫狗图片；test1.zip中有数万张不带标注的猫狗图片。本次实验中我们仅使用train.zip中的数据。

解压train.zip中的文件到data_folder/train，打开train文件夹可以看到许多猫猫狗狗的可爱小图：
解压后的data_folder/train

这样裸着的jpg图片不能直接作为训练数据，需要转化成比较规范的格式。首先，输入CNN的原始图片应当具有同样的尺寸，同样的通道数（如RGB为3通道）等等。另外，mxnet推荐所有的数据都应该以某种DataIter的形式呈现，这样我们通过mxnet的接口就可以很方便地进行训练（见后文）。

介绍一下DataIter

DataIter，简单说就是mxnet提供的一种比较完善的数据格式，每一个DataIter对应着一个完整的数据集，使用迭代的方式一次从整个数据集中读出一部分（一个样本batch，样本数=batch_size），进行模型的训练。这样的样本batch表示为一个4维的NDArray，形状为(batch_size, n_channel, width, height)，可以说是为图像输入量身定做。

本次实