预处理之随机裁剪

$$预处理之随机裁剪$$

补充：transform.invert 预处理逆操作

from PIL import Image
from torchvision import transforms
import torch
import numpy as np

def transform_invert(img_, transform_train):
    """
    将data 进行反transfrom操作
    :param img_: tensor
    :param transform_train: torchvision.transforms
    :return: PIL image
    """
    if 'Normalize' in str(transform_train):
        # 分析transforms里的Normalize
        norm_transform = list(filter(lambda x: isinstance(x, transforms.Normalize), transform_train.transforms))
        mean = torch.tensor(norm_transform[0].mean, dtype=img_.dtype, device=img_.device)
        std = torch.tensor(norm_transform[0].std, dtype=img_.dtype, device=img_.device)
        img_.mul_(std[:, None, None]).add_(mean[:, None, None])  # 广播三个维度 乘标准差 加均值

    img_ = img_.transpose(0, 2).transpose(0, 1)  # C*H*W --> H*W*C

    # 如果有ToTensor，那么之前数值就会被压缩至0-1之间。现在需要反变换回来，也就是乘255
    if 'ToTensor' in str(transform_train):
        img_ = np.array(img_) * 255

    # 先将np的元素转换为uint8数据类型，然后转换为PIL.Image类型
    if img_.shape[2] == 3:  # 若通道数为3 需要转为RGB类型
        img_ = Image.fromarray(img_.astype('uint8')).convert('RGB')
    elif img_.shape[2] == 1:  # 若通道数为1 需要压缩张量的维度至2D
        img_ = Image.fromarray(img_.astype('uint8').squeeze())
    else:
        raise Exception("Invalid img shape, expected 1 or 3 in axis 2, but got {}!".format(img_.shape[2]))

    return img_

if __name__ == '__main__':
    
    img = Image.open(r"./test.jpg").convert('RGB')
    img_transform = transforms.Compose([transforms.ToTensor()])
    img_tensor = img_transform(img)
    # img_tensor.unsqueeze_(dim=0)    # C*H*W to B*C*H*W
    print(img_tensor)
    print(img_tensor.shape)
    
    img = transform_invert(img_tensor, img_transform)  # input: shape=[c h w]
    img.show()

一 中心裁剪：transforms.CenterCrop

功能：从图像中心裁剪图片

主要参数说明：

1. size :所需裁剪图片尺寸

原图（resize 300*300大小）

from PIL import Image
from torchvision import transforms
from utils import transform_invert


if __name__ == '__main__':
    # 1.读取图像
    img = Image.open(r"./test.jpg").convert('RGB')
    # 2.确定预处理方式
    img_transform = transforms.Compose([transforms.Resize((300,300)),  # 重置大小为300*300
                                        # transforms.CenterCrop(30),
                                        transforms.ToTensor()  # 转Tensor型变量
                                        ])
    # 3.进行预处理
    img_tensor = img_transform(img)
    # 4.逆Transform变换
    img = transform_invert(img_tensor, img_transform)  # input: shape=[c h w]
    # 5.进行预处理效果展示
    img.show()

from PIL import Image
from torchvision import transforms
from utils import transform_invert


if __name__ == '__main__':
    # 1.读取图像
    img = Image.open(r"./test.jpg").convert('RGB')
    # 2.确定预处理方式
    img_transform = transforms.Compose([transforms.Resize((300,300)),  # 重置大小为300*300
                                        transforms.CenterCrop(130), # 在图中心进行长宽130的裁剪
                                        transforms.ToTensor()  # 转Tensor型变量
                                        ])
    # 3.进行预处理
    img_tensor = img_transform(img)
    # 4.逆Transform变换
    img = transform_invert(img_tensor, img_transform)  # input: shape=[c h w]
    # 5.进行预处理效果展示
    img.show()

中心裁剪后的效果图

---

二 随机裁剪：transforms. RandomCrop

功能：从图片中随机裁剪出尺寸为size的图片，如果随机超出图像范围，则会进行填充至size大小

主要参数说明：

1. size :所需裁剪图片尺寸
2. padding :设置填充大小
   当为a时，上下左右均填充a个像素
   当为(a, b)时，上下填充b个像素，左右填充a个像素
   当为(a, b, c, d)时，左，上，右，下分别填充a, b, c, d
3. pad_if_need若图像小于设定size,则填充
4. padding_ mode :填充模式，有4种模式
   1、constant :像素值由fill设定
   2、edge:像素值由图像边缘像素决定
   3、reflect :镜像填充，最后一个像素不镜像，eg : [1,2,3,4] > [3,2,1.2,3,4,3,2]
   4、symmetric :镜像填充，最后一个像素镜像，eg : [1.2,3,4] > [2,1.1,2,3,4,4.3]
5. fill : padding_ mode 是constant时， 设置填充的像素值

from PIL import Image
from torchvision import transforms
from utils import transform_invert


if __name__ == '__main__':
    # 1.读取图像
    img = Image.open(r"./test.jpg").convert('RGB')
    # 2.确定预处理方式
    img_transform = transforms.Compose([transforms.Resize((300,300)),  # 重置大小为300*300
                                        transforms.RandomCrop(100,100), # 在图中心进行长宽130的裁剪
                                        transforms.ToTensor()  # 转Tensor型变量
                                        ])
    # 3.进行预处理
    img_tensor = img_transform(img)
    # 4.逆Transform变换
    img = transform_invert(img_tensor, img_transform)  # input: shape=[c h w]
    # 5.进行预处理效果展示
    img.show()

三 随机长宽比裁剪： Random ResizedCrop

功能:随机大小、长宽比裁剪图片

主要参数说明：

1. size：所需裁剪图片尺寸
2. scale：随机裁剪面积比例，默认(0.08, 1)
3. ratio ：机长宽比，默认(3/4, 4/3)
4. interpolation：插值方法

from PIL import Image
from torchvision import transforms
from utils import transform_invert


if __name__ == '__main__':
    # 1.读取图像
    img = Image.open(r"./test.jpg").convert('RGB')
    # 2.确定预处理方式
    img_transform = transforms.Compose([transforms.Resize((300,300)),  # 重置大小为300*300
                                        transforms.RandomResizedCrop(size=200,scale=(0.5,1),ratio=(1/18,2/18)), # 在图中心进行长宽130的裁剪
                                        transforms.ToTensor()  # 转Tensor型变量
                                        ])
    # 3.进行预处理
    img_tensor = img_transform(img)
    # 4.逆Transform变换
    img = transform_invert(img_tensor, img_transform)  # input: shape=[c h w]
    # 5.进行预处理效果展示
    img.show()

---

FiveCrop

功能:在图像的上下左右以及中心裁剪出尺寸为size的5张图片

主要参数说明：

1. size :所需裁剪图片尺寸

from PIL import Image
from torchvision import transforms
from utils import transform_invert


if __name__ == '__main__':
    # 1.读取图像
    img = Image.open(r"./test.jpg").convert('RGB')
    # 2.确定预处理方式
    img_transform = transforms.Compose([transforms.Resize((300,300)),  # 重置大小为300*300
                                        transforms.FiveCrop(size=50), # 在图中心进行长宽130的裁剪
                                       # transforms.ToTensor()  # 转Tensor型变量
                                        ])
    # 3.进行预处理
    img_tensor = img_transform(img)
    for img_t in img_tensor:
        # 4.逆Transform变换
        # img = transform_invert(img_t, img_transform)  # input: shape=[c h w]
        # 5.进行预处理效果展示
        img_t.show()

---

TenCrop

功能:在图像的上下左右以及中心裁剪出尺寸为size的5张图片，TenCrop对这5张图片进行水平或者垂直镜像获得10张图片

1. size :所需裁剪图片尺寸
2. vertical_ flip :是否垂直翻转

from PIL import Image
from torchvision import transforms
from utils import transform_invert


if __name__ == '__main__':
    # 1.读取图像
    img = Image.open(r"./test.jpg").convert('RGB')
    # 2.确定预处理方式
    img_transform = transforms.Compose([transforms.Resize((300,300)),  # 重置大小为300*300
                                        transforms.TenCrop(size=50), # 在图中心进行长宽130的裁剪
                                       # transforms.ToTensor()  # 转Tensor型变量
                                        ])
    # 3.进行预处理
    img_tensor = img_transform(img)
    for img_t in img_tensor:
        # 4.逆Transform变换
        # img = transform_invert(img_t, img_transform)  # input: shape=[c h w]
        # 5.进行预处理效果展示
        img_t.show()

transforms.Lambda(lambda crops: torch.stack([(transforms.ToTensor()(crop)) for crop in crops]))

---