YOLOV8逐步分解(6)_模型训练初始设置之image size检测batch预设及dataloder初始化

yolov8逐步分解(1)--默认参数&超参配置文件加载

yolov8逐步分解(2)_DetectionTrainer类初始化过程

yolov8逐步分解(3)_trainer训练之模型加载

YOLOV8逐步分解(4)_模型的构建过程

YOLOV8逐步分解（5）_模型训练初始设置之混合精度训练AMP

        接逐步分解（5），继续模型训练初始设置的讲解，本章将讲解image size检测、batch预设及dataloder初始代码。

1. image size代码

        # Check imgsz
        gs = max(int(self.model.stride.max() if hasattr(self.model, 'stride') else 32), 32)         # grid size (max stride)
        self.args.imgsz = check_imgsz(self.args.imgsz, stride=gs, floor=gs, max_dim=1)

这段代码是用来处理输入图像的尺寸(imgsz)。它的作用:

1.1 gs = max(int(self.model.stride.max() if hasattr(self.model, 'stride') else 32), 32):

        计算出模型的最大 stride 值。

        如果模型有 stride 属性,就取它的最大值;否则默认为 32。

        这个 gs 变量代表了模型的网格大小(grid size),它是用于确定输入图像尺寸的一个重要参数。

1.2 self.args.imgsz = check_imgsz(self.args.imgsz, stride=gs, floor=gs, max_dim=1):

        代码调用了 check_imgsz() 函数,用于检查和设置输入图像的尺寸。

        self.args.imgsz 是用户传入的期望输入图像尺寸。

        check_imgsz() 函数会根据模型的 stride 值和其他参数,对 self.args.imgsz 进行调整和验证。

        具体来说:

                stride=gs: 使用计算出的网格大小作为 stride 参数。

                floor=gs: 确保输入图像尺寸是网格大小的倍数。

                max_dim=1: 限制输入图像的最大维度为 1。

        这段代码的目的是确保输入图像的尺寸与模型的特性(如 stride)匹配,以确保模型能够正确地处理输入数据。这有助于提高模型的性能和稳定性。

2. batch size设置

        # Batch size
        if self.batch_size == -1: #表示批量大小需要自动估计
            if RANK == -1:  # single-GPU only, estimate best batch size
              self.args.batch = self.batch_size = check_train_batch_size(self.model, self.args.imgsz, self.amp)#估计最佳批量大小
            else:
                SyntaxError('batch=-1 to use AutoBatch is only available in Single-GPU training. '
                            'Please pass a valid batch size value for Multi-GPU DDP training, i.e. batch=16')

处理训练时的批量大小(batch size):

2.1 if self.batch_size == -1::

        这个条件检查是否需要自动估计批量大小。

        如果 self.batch_size 为 -1,表示需要自动估计最佳批量大小。

2.2 if RANK == -1:

        这个条件检查当前是否处于单 GPU 训练模式。

        如果是单 GPU 训练,才能使用自动估计批量大小的功能。

2.3 self.args.batch = self.batch_size = check_train_batch_size(self.model, self.args.imgsz, self.amp):

        在单 GPU 训练模式下,代码调用 check_train_batch_size() 函数来估计最佳批量大小。

        这个函数会根据模型、输入图像尺寸和是否启用混合精度训练,来计算出最佳的批量大小。

        计算结果会赋值给 self.args.batch 和 self.batch_size。

2.4 如果不是单 GPU 训练模式(即分布式训练),就会抛出一个 SyntaxError 异常。

        异常信息提示用户,在分布式训练时不能使用自动批量大小估计功能,需要手动设置一个有效的批量大小。

        这段代码的目的是尽可能自动地估计出最佳的批量大小,以提高训练的效率和性能。但这个功能只在单 GPU 训练模式下可用,在分布式训练中需要手动设置批量大小。

3. dataloader 初始化

        # Dataloaders
        batch_size = self.batch_size // max(world_size, 1)
        self.train_loader = self.get_dataloader(self.trainset, batch_size=batch_size, rank=RANK, mode='train')#获取训练集
        if RANK in (-1, 0):
            self.test_loader = self.get_dataloader(self.testset, batch_size=batch_size * 2, rank=-1, mode='val') #获取测试集
            self.validator = self.get_validator() #创建验证器（validator），用于评估模型在验证数据集上的性能。
            metric_keys = self.validator.metrics.keys + self.label_loss_items(prefix='val')
            self.metrics = dict(zip(metric_keys, [0] * len(metric_keys)))  # TODO: init metrics for plot_results()?
            self.ema = ModelEMA(self.model)
            if self.args.plots and not self.args.v5loader: #如果 self.args.plots 为真且 self.args.v5loader 为假
                self.plot_training_labels() #绘制训练标签的图表

设置和获取训练集和测试集的数据加载器(dataloader):

3.1 batch_size = self.batch_size // max(world_size, 1):

        这一行代码计算出每个进程(process)使用的批量大小。

        它将 self.batch_size 除以 world_size (分布式训练时的进程数)或 1(单机训练时)。

        这样做是为了确保在分布式训练时,每个进程使用的批量大小是合理的。

3.2 self.train_loader = self.get_dataloader(self.trainset, batch_size=batch_size, rank=RANK, mode='train'):

        这一行代码通过调用 self.get_dataloader() 函数,获取训练数据集的数据加载器。

        self.trainset 是训练数据集,batch_size 是计算出的批量大小,rank 是当前进程的序号(在分布式训练时使用)。

        mode='train' 表示这是用于训练的数据加载器。

3.3 if RANK in (-1, 0)::

        这个条件检查当前是否处于单机训练模式或主进程(rank 为 0)。

        只有在这些情况下,才会执行以下操作。

3.4 self.test_loader = self.get_dataloader(self.testset, batch_size=batch_size * 2, rank=-1, mode='val'):

        这一行代码获取验证数据集的数据加载器。

        self.testset 是验证数据集,批量大小是训练批量大小的两倍,rank 设置为 -1 表示不参与分布式训练。

        mode='val' 表示这是用于验证的数据加载器。

3.5 self.validator = self.get_validator():

        这一行代码创建了一个验证器(validator)对象,用于评估模型在验证数据集上的性能。

3.6 metric_keys = self.validator.metrics.keys + self.label_loss_items(prefix='val'):

        这一行代码获取验证阶段需要的所有度量指标的键(key)。

3.7 self.validator.metrics.keys 是验证器定义的度量指标,self.label_loss_items(prefix='val') 是验证阶段的标签损失项。

3.8 self.metrics = dict(zip(metric_keys, [0] * len(metric_keys))):

        这一行代码初始化了所有度量指标的值为 0。

3.9 self.ema = ModelEMA(self.model):

        这一行代码创建了一个指数移动平均(EMA)模型,用于在训练过程中保存模型的滚动平均值。

3.10 if self.args.plots and not self.args.v5loader: self.plot_training_labels():

        如果需要绘制训练标签的图表,并且不使用 v5 格式的数据加载器,就会调用 self.plot_training_labels() 函数。

        这段代码的主要目的是设置训练集和验证集的数据加载器,创建验证器,初始化度量指标,以及设置 EMA 模型等。这些都是训练模型时的常见操作。