前几天使用pytorch时,需要对tensor进行转置,请注意要使用函数permute()而不是view()
很简单,只需要举两个例子就明白区别,view()的运行方式是这样的:
a = torch.tensor([[[1,2,3],[4,5,6]],[[7,8,9],[10,11,12]]])
b = a.view(4,3)
b = tensor([[ 1, 2, 3],
[ 4, 5, 6],
[ 7, 8, 9],
[10, 11, 12]])
张量a的size是2x2x3,使用view函数后,先将这12个元素排成一列,然后将其依次填充至新的4x3的张量中:
![77f6c3237d85544c45e2d3350b1901ac.png](https://i-blog.csdnimg.cn/blog_migrate/18feb01a551cd7bf1ce23d6dfaf31941.png)
为了更细致,我们需要描述一下它们的具体操作流程(这并不是源码的流程,只是为了便于理解、记忆),因为二维比较直观,如果维度比较高的话,可能还是不够直观,心里老是有疑虑,还是以上面例子为例,张量a的每一个元素都有一个index,例如1的index是(0,0,0),7的index是(1,0,0),11的index是(1,1,1)......在拉成列向量排列时,排列规则是这样的,以(0,0,0)开始,维度从最后一维循环到第一维,在每一维内以升序将所有元素排成一列,即:
![f688a441281b596660eb4a936babcf2a.png](https://i-blog.csdnimg.cn/blog_migrate/1664862d823c302fb022dfa12c184748.png)
然后依据新的size对每个元素给予新的index,仍然是维度从最后一维循环到第一维,在每一维内升序,即
![24a8d1b103c20b8aa02cf838b2bab6b3.png](https://i-blog.csdnimg.cn/blog_migrate/7385ed794b43cb75ecb01ac163ec6acc.jpeg)
接下来,说一下permute(),函数的参数为新的维度顺序,例如想交换第一维与第三维的index,则tensor.permute(2,1,0),同样举一个简单第二维与第三维的例子,
a = torch.tensor([[[1,2,3],[4,5,6]],[[7,8,9],[10,11,12]]])
b = a.permute(0,2,1)
b = tensor([[[ 1, 4],
[ 2, 5],
[ 3, 6]],
[[ 7, 10],
[ 8, 11],
[ 9, 12]]])
![47dd08410fb74b4379ade213edeb8ab2.png](https://i-blog.csdnimg.cn/blog_migrate/563bbc68d35910e603c514bb51fbe749.png)
当维度比较大,交换维度的结果并不直观,我们还是说下permute到底做了什么,示意图如下。
需要说明一下,这里面的流程其实就是更改每个元素的index而已,上述例子中只是交换坐标,
![7f0b519c23fbc8da19ad4b492bbc01a4.png](https://i-blog.csdnimg.cn/blog_migrate/c2e03c10228a18bcc20c9be3ef1aa5c8.jpeg)
然后按照新的index更改下各元素的位置并展示出即可。
所以,一般需要将tensor拉开时使用view(),而在需要转置时使用permute()。