动手学深度学习(PyTorch)代码笔记
记录pytorch用于深度学习的学习过程。
一、预备知识
1、数据操作
(1)创建Tensor
import torch
x1 = torch.empty(5, 3) # 未初始化tensor
x2 = torch.rand(5, 3) # 随机初始化tensor
x3 = torch.zeros(5, 3, dtype=torch.long) # long型/int64型 零tensor
# ----------------------
x31 = x3.new_ones(5, 3) # 继承x3属性,以1填充
x32 = x3.new_ones(5, 3, dtype=torch.float64) # 显性改变dtype
x = torch.randn_like(x3, dtype=torch.float) # 继承x3属性,标准分布填充,显性改变dtype
# print(x1)
# print(x2.dtype)
print(x3)
print(x31.dtype)
print(x32.dtype)
print(x.dtype)
print(x.shape) # 等价 x.size()
(2)操作
算术运算:注意in-place,通过调用自身函数实现,一般后面加上 ‘_’
改变形状:
1、x.view
view只改变观察方式,并没有重新拷贝一份新的数据到y、z,即数据共享
x = torch.randn(5, 3)
y = x.view(15)
z = x.view(-1, 5)
print(x.shape) # torch.Size([5, 3])
print(y.shape) # torch.Size([15])
print(z.shape) # torch.Size([3, 5])
2、x.clone.view
可以保证数据不共享
一维tensor转成数字:x.item()
(3)内存开销
问题:y = y + x
会开辟新的内存
优化做法:
y += x # 最简单
y.add_(x)
y[:] = y + x
torch.add(x, y, out=y)
(4)tensor <-> numpy
tensor->numpy:
b = a.numpy() # 快、共享内存
Numpy->tensor:
b = torch.from_numpy(a) # 快、共享内存
b = torch.tensor(a) #慢、数据拷贝
(5)tensor在GPU、CPU转移
x = x.to("cuda") # CPU->GPU
y = y.to("cpu", torch.double) # GPU->CPU(顺便数据类型转换)
2、自动求梯度
# case 1
out.backward() # out为标量,无需传参
# case 2
v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v) # z为tensor,需传入同样大小的tensor v,进行加权求和转为标量