炮哥文章代码
这是b站炮哥视频里面,train的代码 注释使用chatgpt4生成
代码注释
import argparse:# 引入 Python 标准库 argparse,用于解析命令行参数。
import os:# 引入 Python 标准库 os,用于操作文件和目录。
import time:# 引入 Python 标准库 time,用于计时。
import numpy as np:# 引入第三方库 numpy,用于进行数学计算。
import matplotlib.pyplot as plt:# 引入第三方库 matplotlib.pyplot,用于绘制图形。
import torch:# 引入深度学习框架 PyTorch。
import torch.backends.cudnn as cudnn:# 引入 PyTorch 中用于加速计算的库 cudnn。
import torchvision:# 引入 PyTorch 中用于处理图像和视频数据集的库 torchvision。
from model import Net:# 引入自定义模块 model 中的 Net 类。
parser = argparse.ArgumentParser(description="Train on market1501"):# 创建 ArgumentParser 对象,用于解析命令行参数,并设置了一个简单的描述信息。
parser.add_argument("--data-dir",default='data',type=str):# 定义命令行参数 data-dir,表示数据集存放的路径。
parser.add_argument("--no-cuda",action="store_true"):# 定义命令行参数 no-cuda,表示不使用 GPU 进行计算。
parser.add_argument("--gpu-id",default=0,type=int):# 定义命令行参数 gpu-id,表示使用的 GPU 编号。
parser.add_argument("--lr",default=0.1, type=float):# 定义命令行参数 lr,表示学习率。
parser.add_argument("--interval",'-i',default=20,type=int):# 定义命令行参数 interval,表示多少个 epoch 打印一次训练结果。
parser.add_argument('--resume', '-r',action='store_true'):# 定义命令行参数 resume,表示是否从之前的训练中恢复训练。
args = parser.parse_args():# 解析命令行参数,将参数存储到 args 对象中。
device: # 根据命令行参数,选择GPU还是CPU
device = "cuda:{}".format(args.gpu_id) if torch.cuda.is_available() and not args.no_cuda else "cpu"
# 如果CUDA可用,且命令行参数中没有指定不使用CUDA,则启用cudnn的自动调优机制
if torch.cuda.is_available() and not args.no_cuda:
cudnn.benchmark = True
data loading:# 指定数据路径
root = args.data_dir
train_dir = os.path.join(root,"train")
test_dir = os.path.join(root,"test")
# 定义数据预处理的transform,对训练集进行随机裁剪、水平翻转、归一化处理
transform_train = torchvision.transforms.Compose([
# 随机裁剪,裁剪后图像大小为(128, 64),边缘填充4个像素
torchvision.transforms.RandomCrop((128,64),padding=4),
# 随机水平翻转
torchvision.transforms.RandomHorizontalFlip(),
# 转换为张量
torchvision.transforms.ToTensor(),
# 归一化,使用 ImageNet 的均值和标准差进行归一化
torchvision.transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])
# 定义数据预处理的transform,对测试集进行resize、归一化处理
transform_test = torchvision.transforms.Compose([
# 将图像大小调整为 128x64
torchvision.transforms.Resize((128,64)),
# 将 PIL.Image 或 numpy.ndarray 数据类型的图像转换为 PyTorch 张量,并将像素值缩放到 [0, 1] 范围内
torchvision.transforms.ToTensor(),
# 对张量进行归一化,第一个参数是均值,第二个参数是标准差,两个参数都需要在 RGB 三个通道上指定
torchvision.transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])
# 使用 ImageFolder 将训练集和测试集数据加载到内存
trainloader = torch.utils.data.DataLoader(
torchvision.datasets.ImageFolder(train_dir, transform=transform_train), # 从指定目录加载训练集数据,使用给定的图像变换
batch_size=64, # 批量大小为 64
shuffle=True # 随机打乱数据
)
testloader = torch.utils.data.DataLoader(
torchvision.datasets.ImageFolder(test_dir, transform=transform_test), # 从指定目录加载测试集数据,使用给定的图像变换
batch_size=64, # 批量大小为 64
shuffle=True # 随机打乱数据
)
确定分类数为训练集和测试集中类别数的较大值
num_classes = max(len(trainloader.dataset.classes), len(testloader.dataset.classes))
输出分类数
print("num_classes = %s" %num_classes)
定义网络结构
start_epoch = 0 # 定义开始的训练 epoch
net = Net(num_classes=num_classes) # 创建网络对象
if args.resume: # 如果有 checkpoint 文件则加载
assert os.path.isfile("./checkpoint/ckpt.t7"), "Error: no checkpoint file found!"
print('Loading from checkpoint/ckpt.t7')
checkpoint = torch.load("./checkpoint/ckpt.t7") # 加载 checkpoint 文件
# import ipdb; ipdb.set_trace()
net_dict = checkpoint['net_dict'] # 获取网络参数
net.load_state_dict(net_dict) # 加载网络参数
best_acc = checkpoint['acc'] # 获取最佳精度
start_epoch = checkpoint['epoch'] # 获取开始的训练 epoch
net.to(device) # 将网络移动到 GPU 上进行训练
#定义损失函数和优化器
criterion = torch.nn.CrossEntropyLoss