pytorch数据结构和自动求导

张量

最直观的理解张量和array的区别就是张量tensor可以进行直接进行卷积，上下采样，求导等功能，相当于将数组包装成了一个类。

import torch
import torch.nn as nn
import numpy as np

张量的创建

• 随机初始化创建 rand
• 直接数字创建 [3.3,4]
• 借助张量创建新张量 randn_like
• numpy与tensor转换 from_numpy numpy
• 特殊创建函数

#随机
x=torch.rand(3,2)
print(x)

#直接创建
x=torch.tensor([3.3,4])
print(x)

#借助张量
x=torch.tensor([3,4])
y=torch.randn_like(x,dtype=float)
print(y)

#numpy转张量
x=np.linspace(1,10,9)
x_tes=torch.from_numpy(x)
print(x_tes)

张量常用操作

https://pytorch-cn.readthedocs.io/zh/latest/package_references/Tensor/

自动求导机制

requires_grad相当于构造了一个计算图，然后调用
backward()求所有的梯度，pytorch会自动累加梯度，故下一次独立的对相同变量求梯度要先清0

import torch
x=torch.ones(5,5)
#生产记录图，记录之后关于x的梯度
x.requires_grad=True

#生成一个y关于x的函数
y=x*x*2
print(y)

print(y.size())

#y对x求导
#先清0
x.grad.data.zero_()
y.backward(torch.ones(5,5,dtype=float),retain_graph=True)
print(x.grad)
print(4*x==x.grad)

#试一下不同权值
x.grad.data.zero_()
y.backward(torch.tensor([[1,2,3,4,5],[1,2,3,4,5],[1,2,3,4,5],[1,2,3,4,5],[1,2,3,4,5]],dtype=float),retain_graph=True)
print(x.grad)

改变tensor.data不会影响反向传播(主要是图删了)

y.backward(torch.ones(5,5,dtype=float))
print(x.grad)
x.data*=100
print(x.grad)
print(x)

#如果保留图就影响了
y.backward(torch.ones(5,5,dtype=float),retain_graph=True)
print(x.grad)

x.data*=100
y.backward(torch.ones(5,5,dtype=float))
print(x.grad)