Pytorch中view, transpose, permute等方法的区别
transpose与permute的区别与联系
这两个操作比较相似, transpose每次将任意两个指定的dim进行交换
,相当于是2D array的转置操作,而permute可以一次将Tensor变换到任意的dimensions sequence的排列
。 Permute操作可以有1至多步的Transpose操作实现
。
例子:
data = th.tensor([[[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]]])
data_t = data.transpose(1, 2)
data_p = data.permute(2, 0, 1)
data_t_t = data_t.transpose(0, 1)
print('data_t', data_t)
print('data_p', data_p)
print(data_t_t == data_p)
print(data_t.data_ptr() == data.data_ptr() and data_t.is_contiguous() != data.is_contiguous())
print(data_t.stride()[1] == data.stride()[2] and data_t.stride()[2] == data.stride()[1])
Output:
注: transpose操作产生的新的Tensor与原始Tensor相比,除了stride属性发生变化(相关的dims的strides信息同样进行transpose)外并无区别
,这两个Tensor只想同一个memory。
view 与transpose与permute的区别与联系
transpose与permute会实实在在的根据需求(要交换的dim)把相应的Tensor元素的位置进行调整, 而view 会将Tensor所有维度拉平成一维
(即按行,这也是为什么view操作要求Tensor是contiguous的原因),然后再根据传入的的维度
(只要保证各维度的乘积=总元素个数即可)信息重构出一个Tensor
。
# -*- coding: utf-8 -*-
import numpy as np
import torch as th
data_t = data.transpose(1, 2)
data_view = data.view(2, 3, 2)
print('data_t', data_t)
print('data_view', data_view)
print(data_t.shape == data_view.shape)
print(data_t.is_contiguous())
# data_t_view = data_t.view(2, 2, 3)
Output:
当Tensor不是contiguous时,会报如下错误: