pytorch中contiguous()的作用及使用

方法介绍

touch.view()方法对张量改变“形状”其实并没有改变张量在内存中真正的形状。
简单地说，view方法没有拷贝新的张量，没有开辟新内存，与原张量共享内存，只是重新定义了访问张量的规则，使得取出的张量按照我们希望的形状展现。
举例说，如下代码：

t = torch.tensor([[0, 1, 2, 3], [4, 5, 6, 8], [9, 10, 11, 12]])
t2 = t.transpose(0, 1)
print(t2)
tensor([[ 0,  4,  9],
        [ 1,  5, 10],
        [ 2,  6, 11],
        [ 3,  8, 12]])
t3 = t2.view(2, 6)
print(t3)
# 报错原因：改变了形状的t2语义上是3行2列的，在内存中还是跟t一样，没有改变，导致如果按照语义的形状进行view拉伸，数字不连续。
File "E:/.../test3.py", line 109, in <module>
    t3 = t2.view(2, 6)
RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.

那怎么办呢？此时torch.contiguous()方法就派上用场了。
看如下代码：

t4 = t.transpose(0, 1)
print(t4)
tensor([[ 0,  4,  9],
        [ 1,  5, 10],
        [ 2,  6, 11],
        [ 3,  8, 12]])
t5 = t4.contiguous()  # 重点说三遍！重点说三遍！重点说三遍！
t6 = t5.view(2, 6)
print(t6)
tensor([[ 0,  4,  9,  1,  5, 10],
        [ 2,  6, 11,  3,  8, 12]])

总结

torch.contiguous()方法首先拷贝了一份张量在内存中的地址，然后将地址按照形状改变后的张量的语义进行排列。就是说contiguous()方法改变了多维数组在内存中的存储顺序，以便配合view方法使用。