项目实战(一) - - PyTorch简介
1. 为什么选择选择PyTorch?
①用途: PyTorch的计算图是动态的,而其他框架通常是静态的,许多深度学习领域的前沿研究都需要动态图或从动态图中获益 (计算图是用于描绘神经网络中张量的函数操作,通常用于计算优化神经网络权重所需的导数)
②速度: 同样算法,相对其他框架较快较灵活
③易用易读: PyTorch 的设计遵循tensor→variable(autograd)→nn.Module 三个由低到高的抽象层次,分别代表高维数组(张量)、自动求导(变量)和神经网络(层/模块),而且这三个抽象之间联系紧密,可以同时进行修改和操作;源码较少,简洁易读
2. PyTorch安装验证
import torch # 导入PyTorch
print(torch.__ version __) #打印PyTorch的版本
torch.cuda.is_available #判断cuda在我们的系统上是否可用
print(torch.version.cuda) #看cuda的版本
3. 常用PyTorch库:
torch: 包含所有torch包和tensor库的顶级包
torch.nn: 用于构造神经网络的包,它包含类和模块
Torch.autograd:支持张量的导数运算,负责优化神经网络
Torch.nn.function:访问损失函数的API
Torch.optim:访问优化器(SGD,ADAM…)
Torch.utils:包含数据集和数据加载器的实用程序类
Torchvision:访问流行的数据集、计算机视觉中的模型框架及图像转换
所有深度学习框架都有两个特性:张量库和计算导数的包(在PyTorch中是torch和torch.autograd)
3.1. 常用网络层
nn.Linear
nn.Conv2d
nn.LSTM
Nn.GRU
3.2. 常用激活函数
nn.ReLU
nn.Sigmoid
nn.Softmax
3.3. 常用损失函数
nn.CrossEntropyLoss
nn.MSE
4. PyTorch项目流程
- ① 数据读取、转换、加载
- ② 将批量数据传入网络
- ③ 计算损失
- ④ 梯度清零
- ⑤ 反向传播计算梯度
5. CUDA简介
GPU计算堆栈的形式:GPU是底层硬件,Cuda是GPU的顶端软件框架,在Cuda的顶部是Cudnn;
6. 张量
张量是神经网络中使用的主要数据结构,网络中的输入、输出和转换均使用张量表示
- 张量是包含一个同一类型的数据
- 张量之间的计算依赖于类型和设备
用数据创建PyTorch张量的4种方法
t = np.array([[1,2,3],[4,5,6],[7,8,9]])
- print(torch.Tensor(t))
- print(torch.tensor(t))
- print(torch.as_tensor(t))
- print(torch.from_numpy(t))
无数据情况下创建张量
- 单位张量的创建(二维)
torch.eye(3,3) - 全零张量的创建(二维)
torch.zeros(3,3) - 全1张量的创建(二维)
torch.ones(3,3) - 随机张量的创建(二维)
torch.rand(3,3)