理解Pytorch中的grid_sample函数

grid_sample是 PyTorch 提供的一个函数，用于执行采样操作，通常用于图像处理。它允许通过给定的采样坐标从输入张量中获取相应的值。采样坐标可以包含小数，这时 grid_sample 会使用插值方法计算出对应的值。

torch.nn.functional.grid_sample 是 PyTorch 中用于从输入特征图中采样的函数。它接受一个输入张量（通常是特征图）和一个包含采样点坐标的网格（grid），并在输入张量中按照网格坐标采样，生成一个新的特征图。

函数签名

torch.nn.functional.grid_sample(input, grid, mode='bilinear', padding_mode='zeros', align_corners=True)

参数说明

1. input:
   这是一个形状为 (N, C, H_in, W_in) 的 4D 张量，其中 N 是批次大小，C 是通道数，H_in 和 W_in 分别是输入特征图的高度和宽度。
2. grid:
   这是一个形状为 (N, H_out, W_out, 2) 的 4D 张量，表示目标位置的网格。最后一维表示每个位置的 (x, y) 坐标，值的范围通常在 [-1, 1] 之间，其中 -1 对应左/上边界，1 对应右/下边界。
3. mode:
   指定插值方式，有两个选项：
   • 'bilinear'（默认）：使用双线性插值。
   • 'nearest'：使用最近邻插值。
4. padding_mode:
   当采样点超出输入特征图边界时指定填充方式，有三个选项：
   • 'zeros'（默认）：超出边界的点填充为 0。
   • 'border'：超出边界的点采用边界值填充。
   • 'reflection'：超出边界的点使用对称填充。
5. align_corners（有懂哥可以解释的更清楚一点）:
   • True：采样网格的边缘点直接对齐到原始特征图的像素格上。
   • False：采样网格的边缘点直接对齐到原始特征图的像素格的角点上。

示意图

这里补充一下，grid经常会生成小数点的值，这些小数点的值是没法作为索引切片的。所以这时候插值的方法就会影响最终的结果了。

grid_sample 提供两种插值方式：

1. mode='bilinear'

   （默认）：

   • 进行双线性插值（bilinear interpolation）。当坐标包含小数时，grid_sample 会根据周围的像素值来计算出精确的采样结果。这意味着，如果采样点的坐标（即 displacement）落在像素之间，grid_sample 会根据四个相邻像素的值进行加权平均，生成插值结果。

   • 具体来说，如果采样点 (x, y) 对应的坐标在 (i, j) 和 (i+1, j+1) 之间，双线性插值会计算如下：
     $$\text{value}=(1-\Delta x)(1-\Delta y)\cdot V_{i,j}+\Delta x(1-\Delta y)\cdot V_{i+1,j}+(1-\Delta x)\Delta y\cdot V_{i,j+1}+\Delta x\Delta y\cdot V_{i+1,j+1}$$
     其中，$\Delta x$ 和 $\Delta y$ 是坐标的小数部分，$V_{i,j}$ 是像素值。

2. mode='nearest'

   • 采用最近邻插值（nearest-neighbor interpolation）。如果采样坐标包含小数，grid_sample 会取最近的整数位置对应的像素值。

另外grid的取值范围是 [-1, 1]，在函数内部会进行尺度的复原：

real ix = THTensor_fastGet4d(grid, n, h, w, 0);
real iy = THTensor_fastGet4d(grid, n, h, w, 1);
 
// normalize ix, iy from [-1, 1] to [0, IH-1] & [0, IW-1]
ix = ((ix + 1) / 2) * (IW-1);
iy = ((iy + 1) / 2) * (IH-1);