Pytorch学习笔记1——Tensor
Pytorch Learning Notes
Reference:Pytorch官方文档
以上是Pytorch官方的文档,本文主要对其进行翻译整理,并加入一些自己的理解,仅作日后复习查阅所用。
0. Intro
Numpy与Tensor高度相似,为什么有了Numpy还要引入Tensor?
Tensor相对于Numpy来说可以利用Gpu的并行运算优势,提高运算效率。
1. TENSORS
1.1引入方式
import torch
import numpy as np
1.2 定义方式
-
从数据定义
data = [[1,2],[3,4]]
x_data = torch.tensor(data)
-
从numpy array
np_array = np.array(data)
x_np = torch.from_numpy(np_array)
-
从另一个tensor
除非特别说明,不然新张量保留原来张量的特征(shape,datatype),值不保留,注意以下例子ones_like值填充为1,rand_like值填充为随机数
x_ones = torch.ones_like(x_data) #保留特征
x_rand = torch.rand_like(x_data,dtype=torch.float) #改变张量datatype
-
从维度定义
shape = (2,3,)
rand_tensor = torch.rand(shape)
ones_tensor = torch.ones(shape)
zeros_tensor = torch.zeros(shape)
1.3 特性
描述tensor的shape、datatype、 the device on which they are stored(cpu\gpu)。
分别对应为tensor.shape、tensor.dtype、tensor.device。
1.4 操作
-
设备转移
tensor在初始化时都被建立在cpu上,可以通过如下方式将tensor转移到gpu上,大量tensor的转移会造成时间空间较大的消耗:
if torch.cuda.is_available():
tensor = tensor.to('cuda')
-
tensor拼接
torch.cat((A,B…),dim=1),(A,B,…)代表要拼接的矩阵,dim=1代表在维度1上拼接
-
乘法
# This computes the matrix multiplication between two tensors. y1, y2, y3 will have the same value y1 = tensor @ tensor.T y2 = tensor.matmul(tensor.T) y3 = torch.rand_like(tensor) torch.matmul(tensor, tensor.T, out=y3) # This computes the element-wise product. z1, z2, z3 will have the same value z1 = tensor * tensor z2 = tensor.mul(tensor) z3 = torch.rand_like(tensor) torch.mul(tensor, tensor, out=z3)
-
In-place operations(就地操作)
加上一个后缀’_’
x.copy_(y)
,x.t_()
, will changex
1.5 Numpy转换
CPU上的tensor与Numpy array共享底层内存位置,因此改变一个就会改变另一个
-
Tensor to NumPy array
t = torch.ones(5) print(f"t: {t}") n = t.numpy() print(f"n: {n}") Out: t: tensor([1., 1., 1., 1., 1.]) n: [1. 1. 1. 1. 1.] #此时改变tensor会直接改变Numpy array t.add_(1) print(f"t: {t}") print(f"n: {n}") Out: t: tensor([2., 2., 2., 2., 2.]) n: [2. 2. 2. 2. 2.]
-
NumPy array to Tensor
n = np.ones(5) t = torch.from_numpy(n) #此时改变Numpy array会直接改变tensor np.add(n, 1, out=n) print(f"t: {t}") print(f"n: {n}") Out: t: tensor([2., 2., 2., 2., 2.], dtype=torch.float64) n: [2. 2. 2. 2. 2.]
最近看到一篇对于tensor底层理解的文章,怕放收藏夹里找不到,所以引用过来,主要讲tensor在内存中的存储方式。PyTorch:view() 与 reshape() 区别详解