pytorch学习五 --数据增强transforms

数据增强

数据增强又称为数据增广，数据扩增，它是对训练集进行变换，使训练集更丰富，从而让模型更具泛化能力。

      数据增强 --->                      

如我们高考之前做的五年高考，三年模拟

一 、 transforms. -- crop

1. transforms.CenterCrop（size）

• 功能：从图像中心裁剪图片
• size：所需裁剪图片尺寸

transforms.CenterCrop(196)

transforms.CenterCrop(512)

2. transforms.RandomCrop(size,padding=None,pad_if_needed=False,fill=0,padding_mode="constant")

• 功能：从图片中随机裁剪出尺寸为size的图片
• size：所需裁剪图片尺寸
• padding：设置填充大小（当为a时，上下左右均填充a个像素；
•                                          当为（a,b）时，上下填充b个像素，左右填充a个像素；
•                                          当为（a,b,c,d）时，左、上、右、下分别填充a,b,c,d）
• pad_if_need：若图像小于设定size，则填充
• padding_mode：填充模式，有4种模式（constant：像素值由fill设定
•                                                                  edge：像素值由图像边缘像素决定
•                                                                  reflect：镜像填充，最后一个像素不镜像，eg：[1,2,3,4] -> [3,2,1,2,3,4,3,2]
•                                                                  symmetric：镜像填充，最后一个像素镜像，eg：[1,2,3,4] -> [2,1,1,2,3,4,4,3]）
• fill：constant时，设置填充的像素值

 transforms.RandomCrop(224, padding=16)

transforms.RandomCrop(224, padding=(16, 64))

transforms.RandomCrop(224, padding=16, fill=(255, 0, 0))

transforms.RandomCrop(512, pad_if_needed=True)

transforms.RandomCrop(224, padding=64, padding_mode='edge')

transforms.RandomCrop(224, padding=64, padding_mode='reflect')

transforms.RandomCrop(1024, padding=1024, padding_mode='symmetric')

3.RandomResizedCrop(size,scale=(0.08,1.0),ratio=(3/4,4/3),interpolation)

功能：随机大小、长宽比裁剪图片

size：所需裁剪图片尺寸

scale：随机裁剪面积比例，默认（0.08，1）

ratio：随机长宽比，默认（3/4，4/3）

interpolation：插值方法（PIL.Image.NEAREST，PIL.Image.BILINEAR，PIL.Image.BICUBIC）

transforms.RandomResizedCrop(size=224, scale=(0.5, 0.5))

4. transforms.FiveCrop(size)

功能：在图像的左上角、右上角、左下角、右下角以及中心进行裁剪5张图片

5. transform.TenCrop(size,vertical_flip=False)

• 功能：在图像的上下左右以及中心裁剪出尺寸为size的5张图片，TenCrop对这5张图片进行水平或垂直镜像获得10张图片
• size：所需裁剪图片尺寸
• vertical_flip：是否垂直翻转

transforms.FiveCrop(112), #TypeError: pic should be PIL Image or ndarray. Got <class 'tuple'>
transforms.Lambda(lambda crops: torch.stack([(transforms.ToTensor()(crop)) for crop in crops]))

    transforms.TenCrop(112, vertical_flip=True),
    transforms.Lambda(lambda crops: torch.stack([(transforms.ToTensor()(crop)) for crop in crops])),

翻转、旋转

1.RandomHorizontalFlip(p=0.5)

2.RandomVerticalFlip(p=0.5)

• 功能：依概率水平（左右）或垂直（上下）翻转图片
• p：翻转概率

transforms.RandomHorizontalFlip(p=1)

transforms.RandomVerticalFlip(p=1)

3. RandomRotation(degrees,resample=False,expand=False,center=None)

• 功能：随机旋转图片
• degree：旋转角度，当为a时，在（-a，a）之间旋转角度；当为（a，b）时，在（a，b）之间旋转角度
• resample：重采样方法
• expand：是否扩大图片，以保持原图信息
• center：旋转点设置，默认中心点旋转

transforms.RandomRotation(90)

transforms.RandomRotation((90), expand=True)

transforms.RandomRotation(30, center=(0, 0))

transforms.RandomRotation(30, center=(0, 0), expand=True)

图像变换

1.transforms.Pad(padding,fill=0,padding_mode="constant")

• 功能：对图片边缘进行填充
• padding：设置填充大小
•                 当为a时，上下左右均填充a个像素；
•                 当为（a,b）时，上下填充b个像素，左右填充a个像素
•                 当为（a,b,c,d）时，左、上、右、下分别填充a个像素
• padding_mode：填充模式，有4中模式，constant，edge、reflect和symmetric
• fill：constant时，设置填充的像素值，（R,G,B）or（gray）

transforms.Pad(padding=32, fill=(255, 0, 0), padding_mode='constant')

transforms.Pad(padding=(8, 64), fill=(255, 0, 0), padding_mode='constant')

transforms.Pad(padding=(8, 16, 32, 64), fill=(255, 0, 0), padding_mode='constant')

transforms.Pad(padding=(8, 16, 32, 64), fill=(255, 0, 0), padding_mode='symmetric')

2. transforms.ColorJitter(brightness=0,contrast=0,saturation=0,hue=0)

• 功能：调整亮度、对比度、饱和度和色相
• brightness：亮度调整因子；
  • 当为a时，从[mas(0,1-a),1+a]中随机选择；
  • 当为(a,b)时，从[a,b]中选择
• constant：对比度参数，同brightness
• saturation：饱和度参数，同brightness
• hue：色相参数
  • 当为a时，从[-a,a]中选择参数，注：0<= a <= 0.5
  • 当为(a,b)时，从[a,b]中选择参数，注：-0.5<= a <=b <= 0.5

transforms.ColorJitter(brightness=0.5)

transforms.ColorJitter(contrast=0.5)

transforms.ColorJitter(saturation=0.5)

transforms.ColorJitter(hue=0.3)

3. transforms.Grayscale(num_output_channels)

4.transforms.RandomGrayscale(num_output_channels,p=0.1)

• 功能：依概率将图片转换为灰度图
• num_output_channels：输出通道数只能设置为1或3
• p：概率值，图像被转换为灰度图的概率

transforms.Grayscale(num_output_channels=3)

5. transforms.RandomAffine(degrees,translate=None,scale=None,shear=None,resample=False,fillcolor=0)

• 功能：对图像进行仿射变换，仿射变换是二维线性变换，由五种基本原子构成，分别是选择、平移、缩放、错切和翻转
• degree：旋转角度设置
• translate：平移区间设置，如（a,b）,a设置为宽（width），b设置高（height）；图像在宽维度平移的区间为-img_width*a<dx<img_width*a
• scale：缩放比例（以面积为单位）
• fill_color：填充颜色设置
• shear：错切角度设置，有水平错切和垂直错切
  • 若为a，则仅在x轴错切，错切角度在(-a,a)之间
  • 若为（a,b），则a设置x轴角度，b设置为y的角度
  • 若为（a,b,c,d）,则a,b设置x轴角度，c,d设置y轴角度
• rasample：重采样方式，有Nearest、bilinear、Bicubic

transforms.RandomAffine(degrees=30)

​transforms.RandomAffine(degrees=0, translate=(0.2, 0.2), fillcolor=(255, 0, 0)),​

transforms.RandomAffine(degrees=0, scale=(0.7, 0.7))

transforms.RandomAffine(degrees=0, shear=(0, 0, 0, 45))

transforms.RandomAffine(degrees=0, shear=90, fillcolor=(255, 0, 0))

6. transforms.RandomErasing(p=0.5,scale=(0.02,0.33),ratio=(0.3,0.3),value=0,inplace=False)

• 功能：对图像进行随机遮挡
• p：概率值，执行该操作的概率
• scale：遮挡区域的面积
• ratio：遮挡区域长宽比
• value：设置遮挡区域的像素值，（R,G,B）or（Gray）

    transforms.ToTensor(),
    transforms.RandomErasing(p=1, scale=(0.02, 0.33), ratio=(0.3, 3.3), value=(254/255, 0, 0)),

    transforms.ToTensor(),
    # transforms.RandomErasing(p=1, scale=(0.02, 0.33), ratio=(0.3, 3.3), value=(254/255, 0, 0)),
    transforms.RandomErasing(p=1, scale=(0.02, 0.33), ratio=(0.3, 3.3), value='1234'),

7. transforms.Lambda(lambda)

• 功能：用户自定义lambda方法
• lambda：lambda匿名函数；lambda[arg1,[arg2,...,argn]]:expression

transforms.Lambda(lambda crops:torch.stack([transforms.Totensor()(crop) for crop in crops]))

transforms.TenCrop(200,vertical_filp=True)

transfroms的选择操作

1.transforms.RandomChoice([transforms1,transforms2,transforms3])

功能：从一系列transforms方法中随机挑选一个

2. transforms.RandomApply([transforms1,transforms2,transforms3],p=0.5)

功能：依据概率执行一组transforms操作

3. transforms.RandomOrder([transforms1,transforms2,transforms3])

功能：对一组transforms操作打乱顺序

transforms.RandomChoice([transforms.RandomVerticalFlip(p=1), transforms.RandomHorizontalFlip(p=1)])

  transforms.RandomApply([transforms.RandomAffine(degrees=0, shear=45, fillcolor=(255, 0, 0)),
                            transforms.Grayscale(num_output_channels=3)], p=0.5),

  transforms.RandomOrder([transforms.RandomRotation(15),
                            transforms.Pad(padding=32),
                            transforms.RandomAffine(degrees=0, translate=(0.01, 0.1), scale=(0.9, 1.1))]),

自定义transforms方法

自定义transforms要素：

• 仅接受一个参数，返回一个参数
• 注意上下游的输出与输入

class Compose(object):
    def __call__(self,img):
        for t in self.transfroms:
            img = t(img)
        return img

通过类实现多参数输入（下面结构是自定义transfrom是基本结构）：

class YourTransfroms(object):
    def __init__(self,...):
        ...
    def __call__(self,img):
        ...
        return img

椒盐噪声

椒盐噪声又称为脉冲噪声，是一种随机出现的白点或者黑点，白点称为盐噪声，黑点称为椒噪声

信噪比（signal-noice rate,SNR）是衡量噪声的比例，图像中为图像像素的占比

class AddPepperNoice(object):
    def __init__(self,snr,p):
        self.snr = snr
        self.p = p
    def __call__(self,img):
        """
        添加椒盐噪声具体实现过程
        """
        return img

class Compose(object):
    def __call__(self,img):
        for t in self.transforms:
            img = t(img)
        return img

 

数据增强实战

原则：让训练集与测试更接近

• 空间位置：平移
• 色彩：灰度图、色彩抖动
• 形状：仿射变换
• 上下文场景：遮挡、填充
• .......