pytorch的基本知识

非常感谢，datawhale提供的课程资源：https://www.bilibili.com/video/BV1e341127Lt?p=2
以下是这个课程的笔记

一、tensor的属性：

type:float,long,
device的属性：用什么卡，比如CPU,GPU
requires_grad属性：是否支持求导
pin_memory属性：是否塞到内存里面，运算快，但是内存高
is_leaf:是否是叶子节点，不是就继续往前传，是就终止

创建tensor，用dtype指定类型。注意类型要匹配

> a = torch.tensor(1.0, dtype=torch.float) 
> b = torch.tensor(1,dtype=torch.long) 
> #这个int和1.0显然是不匹配的，最好不要这么写
> c = torch.tensor(1.0, dtype=torch.int8)
>  print(a, b,c)

使用指定类型函数随机初始化指定大小的tensor

d = torch.FloatTensor(2,3)
e = torch.IntTensor(2)
 #对于python已经定义好的数据结构可以直接转换.下面的这个是一个列表，
 #list转成整型tensor.只是数据存储的格式变了，但实际还是个List
f = torch.IntTensor([1,2,3,4]) 
print(d, '\n', e, '\n', f) 

tensor和numpy array之间的相互转换

import numpy as np
g = np.array([[1,2,3],[4,5,6]])
h = torch.tensor(g)
print(h)
i = torch.from_numpy(g)
print(i)
j = h.numpy()
print(j)

常见的构造Tensor的函数

k = torch.rand(2, 3) 
l = torch.ones(2, 3)
m = torch.zeros(2, 3)
#arange就是一个步长之类的，起始点0，步骤2，终点10
#这里是1维的张量
n = torch.arange(0, 10, 2)
print(k, '\n', l, '\n', m, '\n', n)

查看tensor的维度信息（两种方式）

print(k.shape)
print(k.size())

tensor的运算

o = torch.add(k,l)
print(o)

tensor的索引方式与numpy类似

print(o[:,1])
print(o[0,:])

重要：改变tensor形状的神器：view

#就是想看3行两列，怎么排列的呢，就是o矩阵从第一行开始排列过来的
print(o.view((3,2)))
#这里的-1表示不确定行数，但是我知道列数，计算机帮你排列
print(o.view(-1,2))

tensor的广播机制（使用时要注意这个特性）
我们注意最后一行，它是p+q。按道理是没办法相加的，但是我们可以自己复制粘贴，凑好数

p = torch.arange(1, 3).view(1, 2)
print(p)
q = torch.arange(1, 4).view(3, 1)
print(q)
print(p + q)

重要：扩展&压缩tensor的维度：squeeze
unsqueeze是增加维度，加的维度是空的，1代表第二个维度，0代表第一个维度
squeeze表示的是压缩维度，只能压缩之前增加的维度

print(o)
r = o.unsqueeze(1)
print(r)
print(r.shape)

二、自动求导

1.PyTorch实现模型训练
2.输入数据,正向传播
3同时创建计算图
4计算损失函数
5损失函数反向传播
6更新模型参数

●Tensor数据结构是实现自动求导的基础

PyTorch自动求导提供了计算雅克比乘积的工具
损失函数l对输出y的导数是:

那么l对输入x的导数就是:

2.2自动求导一动态计算图 (DCG)
张量和运算结合起来创建动态计算图
就是由这样的一个计算图，知道z是由哪里算来的

2.2自动求导-扩展
静态图和动态图
主要区别在是否需要预先定义计算图的结构
下面的图，左边是静态的，就是说模型是固定好的，再计算。右边是不需要预先定义，边计算边定义图。

第二部分：自动求导示例

import torch

x1 = torch.tensor(1.0, requires_grad=True)
x2 = torch.tensor(2.0, requires_grad=True)
y = x1 + 2*x2
print(y)

首先查看每个变量是否需要求导

print(x1.requires_grad)
print(x2.requires_grad)
print(y.requires_grad)

查看每个变量导数大小。此时因为还没有反向传播，因此导数都不存在

print(x1.grad.data)
print(x2.grad.data)
print(y.grad.data)

out:
AttributeError: ‘NoneType’ object has no attribute ‘data’

反向传播后看导数大小

y = x1 + 2*x2
y.backward()
print(x1.grad.data)
print(x2.grad.data)

out:
tensor(1.)
tensor(2.)

导数是会累积的，重复运行相同命令，grad会增加,会影响你的值。所以要注意不要重复运行命令，到后面可以利用一个函数进行清零，不会有累加（每次计算前需要清除当前导数值避免累积，这一功能可以通过pytorch的optimizer实现。后续会讲到）

y = x1 + 2*x2
y.backward()
print(x1.grad.data)
print(x2.grad.data)

尝试，如果不允许求导，会出现什么情况？
就会报错，因为不让求导，反向传播不能进行

# 
x1 = torch.tensor(1.0, requires_grad=False)
x2 = torch.tensor(2.0, requires_grad=False)
y = x1 + 2*x2
y.backward()

out:
untimeError: element 0 of tensors does not require grad and does not have a grad_fn

并行计算：

（1）优点：
能计算-显存占用
算得快-计算速度
效果好-大batch提升训练效果

（2）怎么并行?一CUDA
GPU厂商NVIDIA提供的GPU计算框架
GPU本身的编程基于CUDA语言实现
在PyTorch中，CUDA的含义有所不同
更多的指使用GPU进行计算(而不是CPU )

（3）并行的方法
网络结构分布到不同设备中(Network Partitioning)

同一层的任务分布到不同数据中(Layer-wise Partitioning)

（常用的）不同数据分布到不同的设备中(Data Parallelism)

（4）cuDNN与CUDA
cuDNN是用于深度神经网络的加速库
cuDNN基于CUDA完成深度学习的加速