DataWhale10月“深入浅出PyTorch”Task03打卡

ps:本文记录参与Datawhale10月“深入浅出Pytorch”的学习笔记
pss:该教程的GitHub地址：深入浅出PyTorch
哔哩哔哩视频地址：深入浅出Pytorch

1.概述

机器学习的一般步骤

深度学习和机器学习在流程上类似，但在代码实现上有较大的差异。存在以下不同之处：

• 数据预处理：首先，由于深度学习所需的样本量很大，一次加载全部数据运行可能会超出内存容量而无法实现；同时还有批（batch）训练等提高模型表现的策略，需要每次训练读取固定数量的样本送入模型中训练，因此深度学习在数据加载上需要有专门的设计。
• 模型选择：模型实现上，深度学习和机器学习也有很大差异。由于深度神经网络层数往往较多，同时会有一些用于实现特定功能的层（如卷积层、池化层、批正则化层、LSTM层等），因此深度神经网络往往需要“逐层”搭建，或者预先定义好可以实现特定功能的模块，再把这些模块组装起来。这种“定制化”的模型构建方式能够充分保证模型的灵活性，也对代码实现提出了新的要求。
• 损失函数与优化器的设定：这部分和经典机器学习的实现是类似的。但由于模型设定的灵活性，因此损失函数和优化器要能够保证反向传播能够在用户自行定义的模型结构上实现。
• 训练和验证：深度学习中训练和验证过程最大的特点在于读入数据是按批的，每次读入一个批次的数据，放入GPU中训练，然后将损失函数反向传播回网络最前面的层，同时使用优化器调整网络参数。这里会涉及到各个模块配合的问题。训练/验证后还需要根据设定好的指标计算模型表现。

2.基本配置

#导入一些基本的包
import os
import numpy as np
import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader
import torch.optim as optimizer

#基本设定 batch size
#初始学习率（初始）
#训练次数（max_epochs）
#GPU配置
batch_size = 16
lr = 1e-4
max_epochs = 100
device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")

这里只是建议导入的一些包，还有一些特定场景下会用到其他包。例如：涉及到表格信息的读入很可能用到pandas，对于不同的项目可能还需要导入一些更上层的包如cv2等。如果涉及可视化还会用到matplotlib、seaborn等。涉及到下游分析和指标计算也常用到sklearn。

3.数据读入

PyTorch数据读入是通过Dataset+Dataloader的方式完成的，Dataset定义好数据的格式和数据变换形式，Dataloader用iterative的方式不断读入批次数据。

4.模型构建

5.损失函数

6.优化器

7.训练与评估

8.可视化