pytorch中的grid_sample()使用

torch.nn.functional.grid_sample(input, grid, mode='bilinear', padding_mode='zeros', align_corners=None)

input: (N, C, H_in, W_in)
grid: (N, H_out, W_out, 2)
output:(N, C, H_out, W_out)

这里的 2 是固定的，表示grid对应input 中pixel的位置（x, y）两个维度。这里一般会将x和y的取值范围归一化到(-1,-1) 到 （1,1）。（-1， -1）表示input 左上角， （1,1）表示input 右下角。

对于超出这个范围的坐标，函数将会根据参数padding_mode的设定进行不同的处理。

• padding_mode='zeros':对于越界的位置在网格中采用pixel value=0进行填充。
• padding_mode='border':对于越界的位置在网格中采用边界的pixel value进行填充。
• padding_mode='reflection':对于越界的位置在网格中采用关于边界的对称值进行填充。

grid-input-output 对应关系如下： 

 

随机 crop 多个patch:

#x: input #[2, 3, 1024, 1024]
#target: crop size   #128
#scale_range: rangdom step scale  #[0.125, 0.25]
#num_crops：number of crop #8
def random_crop(x, target, scale_range, num_crops=1):
    B = x.size(0) * num_crops
    flip = torch.round(torch.rand(B, 1, 1, 1)) * 2 - 1.0
    unit_grid_x = torch.linspace(-1.0, 1.0, target)[np.newaxis, np.newaxis, :, np.newaxis].repeat(B, target, 1, 1)
    unit_grid_y = unit_grid_x.transpose(1, 2)
    unit_grid = torch.cat([unit_grid_x * flip, unit_grid_y], dim=3)

    x = x.unsqueeze(1).expand(-1, num_crops, -1, -1, -1).flatten(0, 1)

    scale = torch.rand(B, 1, 1, 2) * (scale_range[1] - scale_range[0]) + scale_range[0]
    offse = (torch.rand(B, 1, 1, 2) * 2 - 1) * (1 - scale)
    sumpling_grid = unit_grid * scale + offse
    crop = F.grid_sample(x, sumpling_grid, align_corners=False)

    crop = crop.view(B // num_crops, num_crops, crop.size(1), crop.size(2), crop.size(3))

    return crop #[2, 8, 3, 128, 128]

 因为torch.linspace均匀采用，

unit_grid_x 是把x轴的（-1,1）平均分成target 份，unit_grid_y  同理。

此时unit_grid 的值左上角是（-1，-1），右下角是（1,1）

flip 表示是否进行翻转。

如果用此时的unit_grid进行crop,如下代码，得到的是整个input 图像，即x。 

crop = F.grid_sample(x, unit_grid, align_corners=False)

unit_grid * scale 因为scale 属于（0,1），unit_grid中的值就会对应的缩小，缩小的倍数由scale决定。offset 设置上下左右移动。

执行如下代码，表示将左上角（-1，-1）*scale，右下角（1,1）*scale对应的input位置crop ，然后缩放到targe 大小，model 参数决定了resize 的方式。

crop = F.grid_sample(x, sumpling_grid, align_corners=False)

这里的crop并不是，直接在input 中的targe size 进行crop。其中有缩放的操作。