Datawhale零基础入门CV-Task2 数据读取与数据扩增

2 数据

本章的内容是接上一章的内容，继上一章的赛题内容理解和方法之后，本章主要内容可以分为数据读取、数据扩增以及利用Pytorch读取赛题数据。

2.1 数据读取

赛题数据为图像，即为识别图像中的数字编码，所以数据读也可以说是图像读取。则必然要对图像进行必要的处理。

2.1.1 Pillow

Pillow 为我们提供了常见的图像读取和处理操作，如：改变图像大小，旋转图像，图像格式转换，色场空间转换，图像增强，直方图处理，插值和滤波等等。并且Pillow可以与iPython notebook无缝集合，是一种应用较为广发的第三方库。

基本操作如下：更多操作可以参考：Pillow官方文档

#打开 旋转 显示图像操作
from PIL import Image
im = Image.open("dog.jpg")
im.rotate(30).show()

#缩略图操作 以128X128来保留纵横比
from PIL import Image
import glob, os

size = 128, 128

for infile in glob.glob("*.jpg"):
    file, ext = os.path.splitext(infile)
    im = Image.open(infile)
    im.thumbnail(size)
    im.save(file + ".thumbnail", "JPEG")

2.1.2 OpenCv

OpenCV是Open source Computer Vision Library的简写，即为开源计算机视觉库。可以用于图像处理、分析，视觉处理等方面。

import cv2 
img = cv2.imread('cat.jpg') 
#OpenCv默认颜色通道为RGB格式
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

#转换为灰度图
img = cv2.imread('cat.jpg') 
img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 

更多参考：
OpenCV官网：https://opencv.org/
OpenCV Github：https://github.com/opencv/opencv
OpenCV 扩展算法库：https://github.com/opencv/opencv_contrib

2.2 数据扩增方法

我们需要对赛题完成字符识别，因此我们需要完成数据的读取操作、同时业需要完成数据扩增操作（Data Augmentation）。

2.2.1 何为数据扩增

数据扩增，顾名思义，就是把有限的数据经过处理，以扩大原来具备的数据样本集，使其得到更大的数据集。增加训练的样本量。
作用：现代深度学习的训练样本的量级可达百万级别，但是，一般情况下是很难获得如此巨大的样本集数量，所以使用数据扩增来使训练样本集的量级加大。
数据扩增的方法有很多，就本赛题的图像处理上，可以从颜色空间、尺寸大小等方面处理。且对于图像分类，数据扩增一般不会改变标签；对于物体检测，数据扩增会改变物体坐标位置；对于图像分割，数据扩增会改变像素标签。

2.2.2 常见的扩增方法

一般从颜色、尺寸、形态、空间和像素等角度进行变换。
以torchvision为例，常见的扩增方法如下：

1. transforms.CenterCrop 对图片中心进行裁剪
2. transforms.ColorJitter 对图像颜色的对比度、饱和度和零度进行变换
3. transforms.FiveCrop 对图像四个角和中心进行裁剪得到五分图像
4. transforms.Grayscale 对图像进行灰度变换
5. transforms.Pad 使用固定值进行像素填充
6. transforms.RandomAffine 随机仿射变换
7. transforms.RandomCrop 随机区域裁剪
8. transforms.RandomHorizontalFlip 随机水平翻转
9. transforms.RandomRotation 随机旋转
10. transforms.RandomVerticalFlip 随机垂直翻转

其对图像的处理效果可以用下图来形象的表示：

注意：本赛题为数字识别，没有必要对其作翻转处理，比如6作翻转处理之后，识别的数字就变为9，这造成了不必要的麻烦。

2.2.3 常用数据扩增库

• torchvision
  https://github.com/pytorch/vision
  pytorch官方提供的数据扩增库，提供了基本的数据数据扩增方法，可以无缝与torch进行集成；但数据扩增方法种类较少，且速度中等；

• imgaug
  https://github.com/aleju/imgaug
  imgaug是常用的第三方数据扩增库，提供了多样的数据扩增方法，且组合起来非常方便，速度较快；

• albumentations
  https://albumentations.readthedocs.io
  是常用的第三方数据扩增库，提供了多样的数据扩增方法，对图像分类、语义分割、物体检测和关键点检测都支持，速度较快。

2.3 Pytorch读取数据

在Pytorch中数据是通过Dataset进行封装，并通过DataLoder进行并行读取。所以我们只需要重载一下数据读取的逻辑就可以完成数据的读取。

import os, sys, glob, shutil, json 
import cv2

from PIL import Image 
import numpy as np

import torch 
from torch.utils.data.dataset import Dataset 
import torchvision.transforms as transforms

class SVHNDataset(Dataset):    
	def__init__(self,img_path,img_label,transform=None):        		
		self.img_path = img_path        	
		self.img_label = img_label         
		if transform is not None:            
			self.transform = transform        
		else:            
			self.transform = None
    def __getitem__(self, index):        
    	img = Image.open(self.img_path[index]).convert('RGB')
    	
        if self.transform is not None:            
        	img = self.transform(img)  
        # 原始SVHN中类别10为数字0
        lbl = np.array(self.img_label[index], dtype=np.int)
        lbl = list(lbl)  + (5 - len(lbl)) * [10]
        
        return img, torch.from_numpy(np.array(lbl[:5]))

    def __len__(self):
        return len(self.img_path)

train_path = glob.glob('../input/train/*.png')
train_path.sort()
train_json = json.load(open('../input/train.json'))
train_label = [train_json[x]['label'] for x in train_json]

data = SVHNDataset(train_path, train_label,
          transforms.Compose([
              # 缩放到固定尺寸
              transforms.Resize((64, 128)),
              # 随机颜色变换
              transforms.ColorJitter(0.2, 0.2, 0.2),

              # 加入随机旋转
              transforms.RandomRotation(5),

              # 将图片转换为pytorch 的tesntor
              # transforms.ToTensor(),

              # 对图像像素进行归一化
              # transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])
            ]))
      	           

通过上述代码，可以将赛题的图像数据和对应标签进行读取，在读取过程中的进行数据扩增，效果如下：

接下来我们将在定义好的Dataset基础上构建DataLoder。用Dataset和DataLoder这两个函数来完成。
Dataset：对数据集的封装，提供索引方式的对数据样本进行读取。
DataLoder：对Dataset进行封装，提供批量读取的迭代读取。
加入DataLoder后，数据读取代码改为如下：

import os, sys, glob, shutil, json
import cv2

from PIL import Image
import numpy as np

import torch
from torch.utils.data.dataset import Dataset
import torchvision.transforms as transforms

class SVHNDataset(Dataset):
    def __init__(self, img_path, img_label, transform=None):
        self.img_path = img_path
        self.img_label = img_label 
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None

    def __getitem__(self, index):
        img = Image.open(self.img_path[index]).convert('RGB')

        if self.transform is not None:
            img = self.transform(img)
        
        # 原始SVHN中类别10为数字0
        lbl = np.array(self.img_label[index], dtype=np.int)
        lbl = list(lbl)  + (5 - len(lbl)) * [10]
        
        return img, torch.from_numpy(np.array(lbl[:5]))

    def __len__(self):
        return len(self.img_path)

train_path = glob.glob('../input/train/*.png')
train_path.sort()
train_json = json.load(open('../input/train.json'))
train_label = [train_json[x]['label'] for x in train_json]

train_loader = torch.utils.data.DataLoader(
        SVHNDataset(train_path, train_label,
                   transforms.Compose([
                       transforms.Resize((64, 128)),
                       transforms.ColorJitter(0.3, 0.3, 0.2),
                       transforms.RandomRotation(5),
                       transforms.ToTensor(),
                       transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
            ])), 
    batch_size=10, # 每批样本个数
    shuffle=False, # 是否打乱顺序
    num_workers=10, # 读取的线程个数
)

for data in train_loader:
    break

在加入DataLoder后，数据按照批次获取，每批次调用Dataset读取单个样本进行拼接。此时data的格式为：
torch.Size([10, 3, 64, 128]), torch.Size([10, 6])
前者为图像文件，为batchsize * chanel * height * width次序；后者为字符标签。

2.4 小结

介绍了数据读取的方法，利用Pillow或者是OpenCv来完成数据的读取，并对图像进行对应的处理。之后又了解了数据扩增的方法，学习了常见的几种扩增的方法。最后利用Pytorch来读取本次比赛的数据。