PyTorch学习笔记：F.pad——张量填充操作

torch.nn.functional.pad(input, pad, mode='constant', value=None)

功能：对张量数据执行填充操作

输入：

• input：待填充的$n$维张量；

• pad：每个维度上的填充大小，输入是大小为m的元组数据，并且$\frac{m}{2}\le n$；

• mode：填充方式，可选择4种——constant、reflect、replicate、circular；

  constant：固定填充，填充固定的数值，数值大小由value确定；

  reflect：镜像填充，以矩阵边缘为对称轴，将反方向的对称元素填充到最外围；

  replicate：复制填充，使用输入边界的复制值填充张量；

  circular：循环填充，重复矩阵边界另一侧的元素；

• value：填充的数值，如果指定模式为constant，则需要设置这个数据，默认为0；

注意：pad参数相当于规定了填充的维度，从最后一个维度开始填充，之后向前移动。

• 如果只填充最后一个维度，那么pad的形式应该是

$$(paddin{g}_{left},paddin{g}_{right})$$

• 如果需要填充后两个维度，则pad的形式应该是：

$$(paddin{g}_{left},paddin{g}_{right},paddin{g}_{top},paddin{g}_{bottom})$$

• 如果需要填充后三个维度，则pad的形式应该是：

$$(paddin{g}_{left},paddin{g}_{right},paddin{g}_{top},paddin{g}_{bottom},paddin{g}_{front},paddin{g}_{back})$$

填充维度遵循从后往前的顺序，对于每个维度，则先填充左侧\上侧\前侧（当前维度的头部），再填充右侧\下侧\后侧（当前维度的尾部）。

代码案例

填充最后一个维度

import torch
import torch.nn.functional as F

data = torch.rand((4, 5))
data_pad = F.pad(data, (1, 1), mode='constant', value=0)
print(data_pad.shape)
print(data_pad)

输出

torch.Size([4, 7])
tensor([[0.0000, 0.9078, 0.7661, 0.9528, 0.5150, 0.7477, 0.0000],
        [0.0000, 0.7557, 0.8106, 0.3553, 0.6389, 0.3530, 0.0000],
        [0.0000, 0.2252, 0.1503, 0.1594, 0.0670, 0.6921, 0.0000],
        [0.0000, 0.9031, 0.4881, 0.4229, 0.6172, 0.8499, 0.0000]])

填充倒数第二个维度

import torch
import torch.nn.functional as F

data = torch.rand((4, 5))
data_pad = F.pad(data, (0, 0, 1, 1), mode='constant', value=0)
print(data_pad.shape)
print(data_pad)

输出

torch.Size([6, 5])
tensor([[0.0000, 0.0000, 0.0000, 0.0000, 0.0000],
        [0.9654, 0.2884, 0.7230, 0.0726, 0.1494],
        [0.7932, 0.3762, 0.0208, 0.5714, 0.4117],
        [0.0561, 0.3267, 0.8760, 0.7788, 0.5641],
        [0.2164, 0.1843, 0.5578, 0.4320, 0.7201],
        [0.0000, 0.0000, 0.0000, 0.0000, 0.0000]])

填充一圈

import torch
import torch.nn.functional as F

data = torch.rand((4, 5))
data_pad = F.pad(data, (1, 1, 1, 1), mode='constant', value=0)
print(data_pad.shape)
print(data_pad)

输出

torch.Size([6, 7])
tensor([[0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.0000],
        [0.0000, 0.8213, 0.4184, 0.0156, 0.2825, 0.0275, 0.0000],
        [0.0000, 0.2093, 0.4823, 0.3615, 0.5399, 0.4086, 0.0000],
        [0.0000, 0.2813, 0.9294, 0.6584, 0.0308, 0.3365, 0.0000],
        [0.0000, 0.9582, 0.1243, 0.2762, 0.1795, 0.3596, 0.0000],
        [0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.0000]])

填充方式的区别可参考：《PyTorch学习笔记：nn.Conv2d——二维卷积运算解读》

官方文档

F.pad：https://pytorch.org/docs/stable/generated/torch.nn.functional.pad.html#torch.nn.functional.pad