【深度学习】NestedTensors

NestedTensors

DETR 中常见的数据格式为 NestedTensors，那么什么是 NestedTensors 呢？
NestedTensor，包括 tensor 和 mask 两个成员，tensor 就是输入的图像。mask 跟 tensor 同高宽但是单通道。比如 masks 大小为 (1, 800, 1440)，tensor 大小为 (1, 3, 800, 1440)。

Why NestedTensor

当数据是连续的时，通常情况下每个样本都有不同的长度。
例如，在一批句子中，每个句子都有不同数量的单词。处理变化序列的一种常见技术是手动将每个数据张量填充到相同的形状，以形成一个批。
例如，我们有两个不同长度的句子和一个词汇表。为了将其表示为单个张量，我们将 0 填充到批中的最大长度。
简单说就是把图片都 padding 成最大的尺寸，padding 的方式就是补零，那么 batch 中的每一张图都有一个 mask 矩阵，在 img 有值的地方是 1，补零的地方是 0。

举个例子，下面两种构造方式其实是等价的，

padded_sentences = torch.tensor([[1.0, 2.0, 0.0],
                                 [3.0, 4.0, 5.0]])
nested_sentences = torch.nested.nested_tensor([torch.tensor([1.0, 2.0]),
                                               torch.tensor([3.0, 4.0, 5.0])])

初始化 NestedTensor

我们可以从张量列表中创建 nestedtensor。我们将 nt[i] 表示为nestedtensor的第 i 个张量分量。

nt = torch.nested.nested_tensor([torch.arange(12).reshape(
    2, 6), torch.arange(18).reshape(3, 6)], dtype=torch.float, device=device)

NestedTensor 操作

reshape

nt_reshaped = nt.reshape(2, -1, 2, 3)

转置

nt_transposed = nt_reshaped.transpose(1, 2)

查看维度

假设 features 为 NestedTensor 格式，直接运行 features[-1]. shape 则会报错 AttributeError: ‘NestedTensor’ object has no attribute ‘Nested_Tensor’，应该使用 features[-1]. tensors. shape。

其他

其他操作具有与常规张量相同的语法。

nt_mm = torch.nested.nested_tensor([torch.randn((2, 3, 4)), torch.randn((2, 3, 5))], device=device)
nt3 = torch.matmul(nt_transposed, nt_mm)
print(f"Result of Matmul:\n {nt3}")

nt4 = F.dropout(nt3, 0.1)
print(f"Result of Dropout:\n {nt4}")

nt5 = F.softmax(nt4, -1)
print(f"Result of Softmax:\n {nt5}")