torch中转置与reshape/view在内存操作上的区别

1、首先理解contiguous与non-contiguous数组的区别

python - What is the difference between contiguous and non-contiguous arrays? - Stack Overflow

总结下来就是：

（1）permute/transpose这种转置操作会带来内存拷贝。

（2）view操作只作用在连续内存上，仅仅按照行重新排列下标，不改变数据的内存分布。

（3）reshape操作可以作用在连续和非连续数据上，如果作用在非连续数据上也会带来内存拷贝，变成内存连续的数据。

2、理解torch中contiguous()的作用

科学网—pytorch中contiguous() - 张伟的博文

contiguous：view只能用在contiguous的variable上。如果在view之前用了transpose, permute等，需要用contiguous()来返回一个contiguous copy。
一种可能的解释是：
       有些tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这个函数，把tensor变成在内存中连续分布的形式。
判断是否contiguous用torch.Tensor.is_contiguous()函数。

import torch

x = torch.ones(10, 10)
x.is_contiguous()  # True
x.transpose(0, 1).is_contiguous()  # False
x.transpose(0, 1).contiguous().is_contiguous()  # True

 在pytorch的最新版本0.4版本中，增加了torch.reshape(), 这与 numpy.reshape 的功能类似。它大致相当于 tensor.contiguous().view()。