Pytorch系列-torch.Tensor

属性

数据类型

device

是在cpu上还是cuda上

# 设置device
device = torch.device('cuda:0')
device = torch.device('cuda',0)

# 在cuda上初始化张量
torch.randn((2,3), device=device)
torch.randn((2,3), device='cuda:1')

# 获取张量位置
a.get_device() # a是一个tensor

layout

表示张量的存储配置。就是storage和stride之间的关系，storage是连续的内存空间，tensor可以理解为一个来自storage的strided视角

x = torch.Tensor([[1, 2, 3, 4, 5], [6, 7, 8, 9, 10]])
x.stride() #(5, 1), 因为第一行到第二行的索引跨度为5，第一列到第二列的索引跨度为1

x.t().stride() #(1, 5)

相关的函数有torch.sparse_coo_tensor，torch.as_strided

memory_format

tensor的存储格式，也就是如何存储在内存中

values	meaning
torch.contiguous_format	分配到密集的、不重叠的内存，strides降序
torch.channels_last	分配到密集的、不重叠的内存，strides排序为NHWC(0,2,3,1)
torch.preserve_format	在clone张量的时候保持之前的存储方式

Views

用view衍生的张量和原来的共享同一内存空间，切片和索引操作就是最基本的view操作。其他操作如下：

torch.as_strided(input, size, stride, storage_offset=0)

Tensor.detach() # 从计算图中分离一个张量，得到的结果的requires_grad永远为False