MXNet之数据读取与增强

最新推荐文章于 2020-04-10 14:27:37 发布
最新推荐文章于 2020-04-10 14:27:37 发布
阅读量1.2k 收藏 4
点赞数
分类专栏： CV算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39451323/article/details/93659168
版权

数据读取与增强

1.直接读取原图像数据

1.1 生成.lst文件

im2rec.py脚本用于生成,lst文件.
文件目录:
在这里插入图片描述
在这里插入图片描述

执行下面指令,生成.lst文件.

#第一个data/train代表,prefix的意思,执行后会得到train.lst文件
#第2个data/train代表,数据的root,根据数据存储路径进行设置
#--list代表执行生成.lst操作,还可用来生成RecordIO文件
#--recursive表示迭代搜索给定的目录,例如train下是类别文件夹,然后是图片,需要设置此参数,才能搜索到.
(mxnet) yuyang@oceanshadow:~/下载/MXNet-Deep-Learning-in-Action-master/demo5$ python /tools/im2rec.py data/train data/train --list --recursive
python: can't open file '/tools/im2rec.py': [Errno 2] No such file or directory
(mxnet) yuyang@oceanshadow:~/下载/MXNet-Deep-Learning-in-Action-master/demo5$ python ./tools/im2rec.py data/train data/train --list --recursive
cock 0
ostrich 1
(mxnet) yuyang@oceanshadow:~/下载/MXNet-Deep-Learning-in-Action-master/demo5$ python ./tools/im2rec.py data/val data/val --list --recursive
cock 0
ostrich 1

结果:
在这里插入图片描述
在这里插入图片描述

1.2 基本数据读取方式read_lst.py

import mxnet as mx
import matplotlib.pyplot as plt

train_data = mx.image.ImageIter(batch_size=32,
                                data_shape=(3,224,224),
                                path_imglist='data/train.lst',
                                path_root='data/train',
                                shuffle=True)
val_data = mx.image.ImageIter(batch_size=32,
                              data_shape=(3,224,224),
                              path_imglist='data/val.lst',
                              path_root='data/val')
train_data.reset()
print(train_data)
data_batch = train_data.next()
print(data_batch)
data = data_batch.data[0]
#print(data)
plt.figure()
for i in range(4):
    save_image = data[i].astype('uint8').asnumpy().transpose((1,2,0))
    plt.subplot(1,4,i+1)
    plt.imshow(save_image)
plt.savefig('image_sample.jpg')

train_data = mx.image.ImageIter(batch_size=32,
                                data_shape=(3, 224, 224),
                                path_imglist='data/train.lst',
                                path_root='data/train',
                                shuffle=True,
                                resize=256,
                                rand_mirror=True)

输出结果:

<mxnet.image.image.ImageIter object at 0x7fc7ac5839e8>
DataBatch: data shapes: [(32, 3, 224, 224)] label shapes: [(32,)]

在这里插入图片描述

2. 基于RecordIO文件读取数据

1.生成RecordIO文件

#--num-thread:设置线程数
#data/train.lst:表示.lst的文件路径
#data/train:原图像所在的目录
(mxnet) yuyang@oceanshadow:~/下载/MXNet-Deep-Learning-in-Action-master/demo5$ python ./tools/im2rec.py --num-thread 16 data/train.lst data/train
Creating .rec file from /home/yuyang/下载/MXNet-Deep-Learning-in-Action-master/demo5/data/train.lst in /home/yuyang/下载/MXNet-Deep-Learning-in-Action-master/demo5/data
time: 0.009440183639526367  count: 0
time: 0.8572912216186523  count: 1000
time: 0.8444476127624512  count: 2000
(mxnet) yuyang@oceanshadow:~/下载/MXNet-Deep-Learning-in-Action-master/demo5$ python ./tools/im2rec.py --num-thread 16 data/val.lst data/val
Creating .rec file from /home/yuyang/下载/MXNet-Deep-Learning-in-Action-master/demo5/data/val.lst in /home/yuyang/下载/MXNet-Deep-Learning-in-Action-master/demo5/data
time: 0.014867544174194336  count: 0

结果:
在这里插入图片描述
在这里插入图片描述

2.2 RecordIO数据读取方式read_rec.py

mx.io.ImageRecordIter()接口用于读取RecordIO数据文件,接口参数多大数十个,以下代码简介:

import mxnet as mx
import matplotlib.pyplot as plt
#增加了resize和随机镜像操作
train_data = mx.io.ImageRecordIter(batch_size=32,
                                   data_shape=(3,224,224),
                                   path_imgrec='data/train.rec',
                                   path_imgidx='data/train.idx',
                                   shuffle=True,
                                   resize=256,
                                   rand_mirror=True)

val_data = mx.io.ImageRecordIter(batch_size=32,
                                 data_shape=(3,224,224),
                                 path_imgrec='data/val.rec',
                                 path_imgidx='data/val.idx',
                                 resize=256)

train_data.reset()
data_batch = train_data.next()
data = data_batch.data[0]
plt.figure()
for i in range(4):
    save_image = data[i].astype('uint8').asnumpy().transpose((1,2,0))
    plt.subplot(1,4,i+1)
    plt.imshow(save_image)
plt.savefig('image_sample_rec.jpg')

输出结果:

<mxnet.io.io.MXDataIter object at 0x7fc7ac62fa58>
DataBatch: data shapes: [(32, 3, 224, 224)] label shapes: [(32,)]

在这里插入图片描述

3.数据增强

3.1大小重置(resize)

  • mx.image.ResizeAug(size=)
  • mx.image.ForceResizeAug(size=(224,224))
import matplotlib.pyplot as plt
import mxnet as mx

if __name__ == '__main__':
    prefix = 'data-augmentation/resize/'
    image = 'ILSVRC2012_val_00000002.jpg'
    image_name = image.split(".")[0]  #获取ILSVRC2012_val_00000002
    image_string = open('data-augmentation/resize/{}'.format(image), 'rb').read()  #以2进制读取图片
    data = mx.image.imdecode(image_string, flag=1)
    print("Shape of data:{}".format(data.shape))
    plt.imshow(data.asnumpy())
    plt.savefig('{}_original.png'.format(prefix + image_name))

    #shortersize短边到size,按比例缩小另一边
    shorterResize = mx.image.ResizeAug(size=224, interp=2)#interp=2是插值算法,默认是2,可不写
    shorterResize_data = shorterResize(data)
    print("Shape of data:{}".format(shorterResize_data.shape))
    plt.imshow(shorterResize_data.asnumpy())
    plt.savefig('{}_shorterResize.png'.format(prefix + image_name))
    
    #shortersize短边到size,按比例夸张另一边
    shorterResize = mx.image.ResizeAug(size=1000)
    shorterResize_data = shorterResize(data)
    print("Shape of data:{}".format(shorterResize_data.shape))
    plt.imshow(shorterResize_data.asnumpy())
    plt.savefig('{}_shorterResize_bigsize.png'.format(prefix + image_name))
    
    #强制转换成(224,224),通过插值算法,人会变形
    forceResize = mx.image.ForceResizeAug(size=(224,224))
    forceResize_data = forceResize(data)
    print("Shape of data:{}".format(forceResize_data.shape))
    plt.imshow(forceResize_data.asnumpy())
    plt.savefig('{}_forceResize.png'.format(prefix + image_name))
    
    #强制转换成(200,300)
    forceResize = mx.image.ForceResizeAug(size=(200, 300))
    forceResize_data = forceResize(data)
    print("Shape of data:{}".format(forceResize_data.shape))
    plt.imshow(forceResize_data.asnumpy())
    plt.savefig('{}_forceResize_diff.png'.format(prefix + image_name))

输出结果:

Shape of data:(1440, 1080, 3)
Shape of data:(298, 224, 3)
Shape of data:(1333, 1000, 3)
Shape of data:(224, 224, 3)
Shape of data:(300, 200, 3)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2 裁剪(crop)

  • center crop
  • random crop
  • random resize crop
import matplotlib.pyplot as plt
import mxnet as mx

if __name__ == '__main__':
   prefix = 'data-augmentation/crop/'
   image = 'ILSVRC2012_val_00000009.jpg'
   image_name = image.split(".")[0]
   image_string = open('data-augmentation/crop/{}'.format(image), 'rb').read()
   data = mx.image.imdecode(image_string, flag=1)
   print("Shape of data:{}".format(data.shape))
   plt.imshow(data.asnumpy())
   plt.savefig('{}_original.png'.format(prefix + image_name))
   
   #从图像的中间区域裁剪,以图像中心点为裁剪中心
   centerCrop = mx.image.CenterCropAug(size=(224,224))
   class_centerCrop_data = centerCrop(data)
   print("Shape of data:{}".format(class_centerCrop_data.shape))
   plt.imshow(class_centerCrop_data.asnumpy())
   plt.savefig('{}_centerCrop.png'.format(prefix + image_name))
   
   #随机裁剪,以图像任意点为裁剪中心
   randomCrop = mx.image.RandomCropAug(size=(224,224))
   class_randomCrop_data = randomCrop(data)
   print("Shape of data:{}".format(class_randomCrop_data.shape))
   plt.imshow(class_randomCrop_data.asnumpy())
   plt.savefig('{}_randomCrop.png'.format(prefix + image_name))
   
   #size:输出图线尺寸;area:初次裁剪面积又area*原图面积得道;ratio:表示宽高比例,确定裁剪面积后,根据此比例确定宽高
   randomSizeCrop = mx.image.RandomSizedCropAug(size=(224,224), area=0.08, 
                                                ratio=(3/4, 4/3))
   class_randomSizedCrop_data = randomSizeCrop(data)
   print("Shape of data:{}".format(class_randomSizedCrop_data.shape))
   plt.imshow(class_randomSizedCrop_data.asnumpy())
   plt.savefig('{}_randomSizedCrop.png'.format(prefix + image_name))

输出结果:

Shape of data:(1440, 1080, 3)
Shape of data:(224, 224, 3)
Shape of data:(224, 224, 3)
Shape of data:(224, 224, 3)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3 镜像(mirror)

  • mx.image.HorizontalFlipAug(p=0.5)
import matplotlib.pyplot as plt
import mxnet as mx

if __name__ == '__main__':
   image = 'ILSVRC2012_val_00000014.JPEG'
   image_name = image.split(".")[0]
   image_string = open('../image/{}'.format(image), 'rb').read()
   data = mx.image.imdecode(image_string, flag=1)
   print("Shape of data:{}".format(data.shape))
   plt.imshow(data.asnumpy())
   plt.savefig('{}_original.png'.format(image_name))
   
   #p表示执行随机镜像操作的概率
   mirror = mx.image.HorizontalFlipAug(p=0.5)
   mirror_data = mirror(data)
   plt.imshow(mirror_data.asnumpy())
   plt.savefig('{}_mirror.png'.format(image_name))

在这里插入图片描述
在这里插入图片描述

3.4 亮度 (brightness)

  • mx.image.BrightnessJitterAug(brightness=0.3)
    亮度不宜设置过大,否则失真
    输出图像:输入图像的像素值乘以[1+brightness,1-brightness]中间的随机数的到的图像
import matplotlib.pyplot as plt
import mxnet as mx

if __name__ == '__main__':
   image = 'ILSVRC2012_val_00000008.JPEG'
   image_name = image.split(".")[0]
   image_string = open('../image/{}'.format(image), 'rb').read()
   data = mx.image.imdecode(image_string, flag=1)
   plt.imshow(data.asnumpy())
   plt.savefig('{}_original.png'.format(image_name))

   cast = mx.image.CastAug()
   data = cast(data)
   brightness = mx.image.BrightnessJitterAug(brightness=0.3)
   brightness_data = brightness(data)
   brightness_data = mx.nd.Cast(brightness_data, dtype='uint8')
   plt.imshow(brightness_data.asnumpy())
   plt.savefig('{}_brightness.png'.format(image_name))

输出结果:在这里插入图片描述
在这里插入图片描述

3.5 对比度(contrast)

  • mx.image.ContrastJitterAug(contrast=0.3)
    对比度不宜设置过大,否则失真
import matplotlib.pyplot as plt
import mxnet as mx

if __name__ == '__main__':
   image = 'ILSVRC2012_val_00000008.JPEG'
   image_name = image.split(".")[0]
   image_string = open('../image/{}'.format(image), 'rb').read()
   data = mx.image.imdecode(image_string, flag=1)
   plt.imshow(data.asnumpy())
   plt.savefig('{}_original.png'.format(image_name))

   cast = mx.image.CastAug()
   data = cast(data)
   contrast = mx.image.ContrastJitterAug(contrast=0.3)
   contrast_data = contrast(data)
   contrast_data = mx.nd.Cast(contrast_data, dtype='uint8')
   plt.imshow(contrast_data.asnumpy())
   plt.savefig('{}_contrast.png'.format(image_name))

输出结果:
在这里插入图片描述
在这里插入图片描述

3.6 饱和度(saturation)

  • saturation = mx.image.SaturationJitterAug(saturation=0.3)
    饱和度指色彩纯度,纯度越高表现越鲜明,越低表现越黯淡.

import matplotlib.pyplot as plt
import mxnet as mx

if __name__ == '__main__':
  image = 'ILSVRC2012_val_00000008.JPEG'
  image_name = image.split(".")[0]
  image_string = open('../image/{}'.format(image), 'rb').read()
  data = mx.image.imdecode(image_string, flag=1)
  plt.imshow(data.asnumpy())
  plt.savefig('{}_original.png'.format(image_name))

  cast = mx.image.CastAug()
  data = cast(data)
  saturation = mx.image.SaturationJitterAug(saturation=0.3)
  saturation_data = saturation(data)
  saturation_data = mx.nd.Cast(saturation_data, dtype='uint8')
  plt.imshow(saturation_data.asnumpy())
  plt.savefig('{}_saturation.png'.format(image_name))

输出结果:
在这里插入图片描述
在这里插入图片描述

沧海二阳
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
label数据处理.rar
04-18
为了训练一个高效的目标检测模型，我们需要大量的标注数据，这正是"Labeling数据处理"的重要之处。本压缩包“label数据处理.rar”提供了一套完整的流程，帮助用户对数据进行有效管理和准备，确保模型训练的准确性和...
mxnet实现自己的图像数据集增强方法
小羊苏西的博客
04-21 3055
        深度学习做图像相关的内容时候，数据集增强是常用并且十分有效的手段，可以有效的对口过拟合以及提高模型的准确率，针对不同的问题有时候需要特定的方式对数据进行变换。Mxnet已经内置了一些常用的增强手段，例如randomcrop，mirror，颜色抖动等。        但是，当需要具体的针对性的数据增强的时候，就需要自己写一个augmenter，对此 mxnet还是比较简单的和灵活的。...
MXNet Data IO
KangRoger的专栏
06-25 1987
MXNet Data IO设计
mxnet学习一、数据制作以及读取
hjxu2016的博客
10-15 2205
文章目录一、制作数据二、mxnet的几种读取数据方式 一、制作数据 mxnet支持两种数据读取方式：一种是从原图读取，另一种是从mxnet特有的数据格式.rec数据读取（类似caffe的lmdb和TensorFlow的 tfrecords）。 mxnet提供工具来制作数据（类似caffe），这里只介绍如何使用这个工具 以kaggle猫狗大战的数据集为例 将cat和dog各自移动到一个文件夹 mkd...
Mxnet学习系列1----制作自己的数据
Sunshine_in_Moon的专栏
12-11 1万+
Mxnet是由国内大牛写的一个深度学习框架，听很多使用过的大神说，效果不错！速度比Caffe快，占用内存也比Caffe小，所以也打算玩玩！昨天成功调通了minist跑了下，确实挺快的。今天制作自己的数据，其实挺简单的，不过刚开始，走了不少弯路！特写下此篇博客与大家分享！ Mxnet：http://mxnet.readthedocs.org/en/latest/ Data Loading API
Python-GluonNLP基于MXNet的深度学习自然语言处理包
08-12
- **自定义数据集**：提供灵活的数据读取接口，用户可以方便地加载自己的数据集进行处理。 3. **模型构建** - **序列模型**：GluonNLP提供了丰富的序列模型，包括LSTM、GRU、Transformer等，用于建模文本序列的上...
cpp-MXNet交通标志识别手把手实践教程
08-16
MXNet提供了一些工具来处理这些任务，如`ImageIter`类，它可以读取、处理和批量提供数据。 2. **定义模型**：MXNet的C++ API允许你构建各种神经网络结构。对于交通标志识别，你可能需要用到卷积层、池化层和全连接...
RetinaFace人脸识别.zip
03-26
4. **使用MXNet框架**：本实现是基于MXNet深度学习框架，MXNet以其高效、灵活和可移植性而著称，适合于各种硬件平台和大规模数据处理。 **Python环境准备** 在运行RetinaFace代码前，你需要确保已经安装了以下...
yolov5.zip c++推理yolov5 onnx模型
01-02
ONNX是一种跨框架的模型交换格式，允许开发者在不同的深度学习库之间迁移模型，例如从PyTorch到C++的TensorRT或Java的MxNet。要完成转换，可以使用PyTorch的`torch.onnx.export`函数，传入模型、输入样例数据和导出...
MXNet官方文档中文版教程(5)：加载数据（Iterators）
青青韶华
10-30 1万+
文档英文原版参见Iterators - Loading data 在本教程中，我们专注于如何将数据提供给训练或推断程序。 MXNet中的大多数训练和推断模块接受数据迭代器，因此简化了此过程，特别是在读取大型数据集时。 这里我们讨论 API 规则和几个提供的迭代器。前提要求完成本教程，我们需要： MXNet OpenCV Python library, Python Requests, Matplot
mxnet基础到提高(29)-读取示例数据
The research on computer technolog
04-08 379
#!/usr/bin/env python2 # -*- coding: utf-8 -*- """ Created on Fri Aug 10 16:13:29 2018 @author: myhaspl """ from mxnet import nd, gluon, init, autograd from mxnet.gluon import nn from mxnet.gluon.da...
利用Mxnet自带的工具，进行数据转化，读取图片文件
热门推荐
启功社区
12-11 1万+
一、MXNet，不是直接处理原生数据比如图片之类的，而是处理的自定义的一种文件格式rec。而rec格式的文件由依赖于一个描述原生数据的列表文件格式lst。 数据集：caltech256,其中包含两个文件，一个test,一个train，每个文件里面又有很多个代表类标的文件，各个文件里存放了每一类的图片。   二.从原生数据生成lst文件 这个图像文件列表的格式如下： integer_ima
MxNet框架下 数据读取的两种方式
weixin_42660446的博客
04-10 584
MxNet框架下的数据读取 通常，我们在做深度学习训练的时候数据读取是必不可少的，下面我们介绍两种方法： 一、直接读取文件夹下的数据不转换成.rec和.idx 常用来做分类等，train文件夹下放置的数据为每个类别一个文件夹，test文件夹和train类似。 主要使用函数： gluon.data.vision.ImageFolderDataset from mxnet import gluon f...
MXNet的数据读取：data.py源码详解
AI之路
06-29 3709
这篇博文介绍MXNet里面比较重要的一个脚本data.py，路径：~/mxnet/example/image-classification/common/data.py。也是在fine-tune.py脚本中用到的数据读入脚本（参考MXNet的fine-tune.py源码详解）。数据读取在深度学习模型训练中算是比较重要的一块，MXNet官网中主要介绍的是.rec格式的数据的读取，不过这个格式比较占磁盘
MXNet 导入图像数据
安静会的博客
03-24 3206
MXNet框架用于做图像相关的项目时，读取图像主要有两种方式：第一种是读.rec格式的文件，类似Caffe框架中LMDB，优点是.rec文件比较稳定，移植到别的电脑上也能复现，缺点是占空间（.rec文件的大小基本上和图像的存储大小差不多），而且增删数据不大灵活。第二种是.lst和图像结合的方式，首先在前面生成.rec文件的过程中也会生成.lst文件，这个.lst文件就是图像路径和标签的对应列表，也...
MXNet数据加载
余昌黔|书山有路
12-07 9779
本篇博客主要讲讲MXNet如何加载数据的，因为它自己实现了一个方便的数据加载的方法。当然最全面的还是去看MXNet的官方文档了，这里主要是简单介绍一下，外加一些自己实验的结果。目录目录 一介绍 二从原生数据生成lst文件 三从lst文件生成rec 方法一 方法二 三创建Data Iterator 参考网站一.介绍MXNet主要使用迭代器(Iterator)来为神经网络提供数据，当然迭代器还会对数据进
MXNet源码解读：数据读取基础类—mxnet.io.DataIter
AI之路
03-27 3325
mxnet.io.DataIter是MXNet框架中构造数据迭代器的基础类，在MXNet框架下只要和数据读取相关的接口基本上都继承该类，比如我们常用的图像算法相关的mxnet.io.ImageRecordIter类或mxnet.image.ImageIter类都直接或间接继承mxnet.io.DataIter类进行封装。因此熟悉mxnet.io.DataIter类对于其他high level的数据...
利用mxnet模块进行图像增强
云端浅蓝
10-11 659
图像增强 定义:对图像做旋转,翻转,剪切等变换以增加样本量 优点:扩充样本数量,增加数据多样性 mxnet:亚马逊选择的深度学习库 性质:一种框架(与tensorflow,Theano类似,为框架的一种) 特点:支持各种语言,python,R… 1.安装mxnet库 进入终端(terminal) pip install mxnet 2.载入模块 %matplotlib inline impo...
mxnet im2rec制作检测数据集
最新发布
01-03
im2rec工具可以从原始图像文件夹中读取图像，并将其转换为适合mxnet使用的二进制格式。 制作检测数据集的步骤如下： 1. 准备图像数据文件夹：将待制作为数据集的图像文件按照类别分别放置在不同的文件夹中。 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值