动手学深度学习(PyTorch)笔记一、预备知识

动手学深度学习(PyTorch)代码笔记

记录pytorch用于深度学习的学习过程。

一、预备知识

1、数据操作

（1）创建Tensor

import torch

x1 = torch.empty(5, 3)   # 未初始化tensor
x2 = torch.rand(5, 3)   # 随机初始化tensor
x3 = torch.zeros(5, 3, dtype=torch.long)    # long型/int64型 零tensor
# ----------------------
x31 = x3.new_ones(5, 3)  # 继承x3属性，以1填充
x32 = x3.new_ones(5, 3, dtype=torch.float64)    # 显性改变dtype

x = torch.randn_like(x3, dtype=torch.float)     # 继承x3属性，标准分布填充，显性改变dtype

# print(x1)
# print(x2.dtype)
print(x3)

print(x31.dtype)
print(x32.dtype)
print(x.dtype)
print(x.shape)  # 等价 x.size()

（2）操作

算术运算：注意in-place，通过调用自身函数实现，一般后面加上 ‘_’

改变形状：

1、x.view

view只改变观察方式，并没有重新拷贝一份新的数据到y、z，即数据共享

x = torch.randn(5, 3)
y = x.view(15)
z = x.view(-1, 5)

print(x.shape)  # torch.Size([5, 3])
print(y.shape)  # torch.Size([15])
print(z.shape)  # torch.Size([3, 5])

2、x.clone.view

可以保证数据不共享

一维tensor转成数字：x.item()

（3）内存开销

问题：y = y + x会开辟新的内存

优化做法：

y += x	# 最简单 
y.add_(x)
y[:] = y + x
torch.add(x, y, out=y)

（4）tensor <-> numpy

tensor->numpy：
b = a.numpy() # 快、共享内存

Numpy->tensor：
b = torch.from_numpy(a) # 快、共享内存
b = torch.tensor(a) #慢、数据拷贝

（5）tensor在GPU、CPU转移

x = x.to("cuda")	# CPU->GPU
y = y.to("cpu", torch.double)	# GPU->CPU（顺便数据类型转换）

2、自动求梯度

# case 1
out.backward()	# out为标量，无需传参
# case 2
v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v)		# z为tensor，需传入同样大小的tensor v，进行加权求和转为标量