Pytorch训练一个模型的步骤总结

大概停在这部分很久了，总结并提醒自己一下！
目前遇到的步骤大概如下：
1.指定设备
[2.设置随机种子]
3.创建数据集(数据导入，预处理和打包)
4.创建模型
5.创建优化器
[6.学习率调整策略]
7.开始循环训练
8.预测脚本

1.指定设备

device = torch.device("cuda" if torch.cuda.isavailable() else "gpu")

这里设计两个函数，torch.device和torch.cuda.isavailable。分别是指定设备和判断是否存在gpu。

2.设置随机种子

效果大概是可以让不同次运行程序的训练可以复现，网上的代码很多。

3.创建数据集

数据集的准备分为三部分，分别是：
1.导入数据
2.数据预处理
3.打包

1 制作数据集

形式各不相同，如coco数据集和pasical voc数据集，因此，这部分需要自定义。目前我遇到的有两种办法：
1.重载torch.untils.data.DataSet类，这也是最常用的。
2.利用torchvision.datasets.ImageFolder，这个对数据集的格式有固定的要求。

2 数据预处理

有很多办法对数据进行预处理。如果是自定义数据集，预处理在制作数据集中就已经完成。如果是利用ImageFolder，需要传入对应的参数
！！！预处理的函数必须是RGB形式，如果是opencv读取的图像需要进行通道的调整！！！

3 打包

这里用的就是torch.utils.data.DataLoader进行打包。

4.创建模型

这里就有很多了，图像分类模型，目标检测模型，图像分割模型等…所有的模型都涉及到了四个问题，搭建模型，模型权重，输入，输出。

5.创建优化器

优化器有很多种类，都包含在torch.optim中。共同点是必须使用上面模型model的参数。因此，定义一个优化器就有如下步骤：
1.寻找需要更新的参数(有可能需要冻结不需要的参数的步骤)
2.创建优化器，不同的优化器有不同的参数，详细见详解。
常用优化器可见一个大佬总结的https://zhuanlan.zhihu.com/p/527908842

[6.学习率调整策略]

具体总结吧！

[7.精度化训练]

混合精度化训练的目的是加快训练时间、减少网络训练时候所占用的内存，并且保存训练出来的模型精度持平。

8.定义损失函数

这部分由几个问题，定义，输入和输出。

1.定义

定义分为两种
一种是pytorch已经实现好的定义时模型的参数不可缺少，其余的按照损失函数原理有不同的变化，到单个损失函数的时候进行详细的总结。
另一种是自定义损失计算，这种对输入的要求比较低，也就意味着对自定义数据集标签的返回格式要求比较低。

2.输入

这部分因为损失函数不同，也会有不同。可以确定的是这里决定了你的数据集真实标签的返回格式。

输出

一般是一个数，反应了模型参数的好坏。
损失函数有很多类型，遇到一个总结一个！

9.训练脚本

以一个例子，总结步骤

epochs = 100
best_acc = 0.0
for epoch in range(epochs):
    # train：开启dropout
    net.train()
    running_loss = 0.0
    train_bar = tqdm(train_loader, file=sys.stdout)
    # 分部执行，每一步一个batch
    for step, data in enumerate(train_bar):
        # 获取图像和标签
        image, label = data
        # 清楚优化器过往梯度
        optimizer.zero_grad()
        # 执行模型，返回结果
        outputs = net(image.to(device))
        # 计算损失
        loss = loss_function(outputs, label.to(device))
        # 反向传播
        loss.backward()
        # 更新参数
        optimizer.step()

        running_loss += loss.item()
        train_bar.desc = "train epoch[{}/{}] loss:{:.3f}".format(epoch + 1, epochs, loss)
    # eval: 关闭dropout
    net.eval()
    acc = 0.0
    val_num = len(validate_dataset)
    # 关闭梯度的计算
    with torch.no_grad():
        val_bar = tqdm(validate_loader, file=sys.stdout)
        for step, data in enumerate(validate_loader):
            image, label = data
            outputs = net(image.to(device))
            # 获取概率中最高的结果作为预测
            predict_y = torch.max(outputs, dim=1)[1]
            # 计算评价指标，用来判断参数是否为历史最好的，如果是保存
            acc += torch.eq(predict_y, label.to(device)).sum().item()
            val_accurate = acc / val_num
            print('[epoch %d] train_loss: %.3f  val_accuracy: %.3f' %
                  (epoch + 1, running_loss, val_accurate))

            if val_accurate > best_acc:
                best_acc = val_accurate
                torch.save(net.state_dict(), "./Alex.pth")

            if best_acc >= 0.9:
                break
                print(f"Finished train, total time is {end_time-start_time}")

代码是学着大佬写的，https://blog.csdn.net/qq_37541097?type=blog

学习有限，可能出现错误，如果遇到与现在总结有出入的一定要再来修改！！！