Datawhale AI 夏令营 CV方向 Task 2

一、YOLO模型简介

        YOLO模型是在图像和视频中识别感兴趣物体对象，通常通过边界框形式来识别物体。以下是物体检测的一些关键概念和步骤：

1. 输入：物体检测算法的输入通常是一张图像或视频帧。

2. 特征提取：算法使用深度学习模型（如卷积神经网络CNN）来提取图像的特征。这些特征捕捉了图像中的视觉信息，为后续的物体识别和定位提供基础。

3. 候选区域生成：在某些检测算法中，如基于区域的卷积神经网络（R-CNN）及其变体，首先需要生成图像中的候选区域，这些区域可能包含感兴趣的物体。

4. 区域分类和边界框回归：对于每个候选区域，算法需要判断它是否包含特定类别的物体，并预测物体的边界框。这通常涉及到分类任务和回归任务的结合。

5. 非极大值抑制（NMS）：在检测过程中，可能会产生多个重叠的边界框，用于表示同一物体。NMS是一种常用的技术，用于选择最佳的边界框并去除多余的框。

        依据图像判别方式，图像识别可分为One stage 和Two stage两类模型。简单来说，One stage模型是直接依据单次网络识别图中所需对象。Two stage 使用区域提议网络（Region Proposal Network, RPN）生成候选区域，然后对这些区域进行分类和边界框的精细调整。这种方法的优点是精度高，但速度相对较慢。

二、YOLO的数据集格式 

        YOLO算法的标注格式主要使用.txt文件来存储图像中物体的标注信息。每个图像都有一个对应的.txt文件，文件中的每行表示一个物体的标注，包括物体的类别索引和边界框（bounding box）的坐标。以下是YOLO标注格式的详细介绍：

1. 类别索引：用一个整数索引进行分类。

2. 边界框坐标：边界框由其中心点坐标(x_center, y_center)和宽度width、高度height组成。这些值通常是归一化到图像宽度和高度的比例值，范围在0到1之间。

3. 坐标格式：边界框坐标通常按照[class_index x_center y_center width height]的格式记录，其中class_index是类别索引，x_center和y_center是边界框中心点的x和y坐标，width和height是边界框的宽度和高度。

三 、YOLO训练日志

在使用YOLO进行训练时，生成的exp/detect/train类型的文件夹是训练过程中的一个关键组成部分。

• 模型权重 (.pt 或 .pth 文件): 训练过程中保存的模型权重，可以用于后续的测试或继续训练。

• 日志文件 (.log 文件): 包含训练过程中的所有输出信息，如损失值、精度、速度等。

• 配置文件 (.yaml 或 .cfg 文件): 训练时使用的配置文件副本，记录了数据路径、类别名、模型架构等设置。

• 图表和可视化: 有时YOLO会生成训练过程中的性能图表，如损失曲线、精度曲线等。

• 测试结果: 如果训练过程中包括了测试阶段，可能会有测试结果的保存，如检测结果的图片或统计数据。

四、Baseline进阶思路

        通过如上介绍，你的或许已经了解一部分YOLO模型训练的规律。回顾赛题本身，由于要求是需要快速的识别违规行为，因此YOLO模型较为合适，那该如何提高模型预测准确性？

        首先，我们可以通过增加训练集数据，从而达到准确率的提升。最原始Baseline中仅仅将训练集设置为5，然而赛题所提供视频约有40个，因此增加训练数据可大大提升预测准确率。

        其次，可以切换不同模型的预训练权重，不同的模型，针对的识别对象不同，因此性能会有差异，切换不同模型预训练权重，可提高效率。