Datawhale AI 夏令营第五期 CV方向Task01笔记

赛题解读

赛题目标

利用图像处理和计算机视觉技术开发一套智能识别系统，自动检测和分类摄像头捕获的视频中，城市管理中的违规行为

数据集

初赛提供城管视频监控数据与对应违规行为标注。违规行为包括垃圾桶满溢、机动车违停、非机动车违停等。视频数据为mp4格式，标注文件为json格式，每个视频对应一个json文件。

• frame_id：违规行为出现的帧编号
• event_id：违规行为ID
• category：违规行为类别
• bbox：检测到的违规行为矩形框的坐标，[xmin,ymin,xmax,ymax]形式

评分规则

YOLO

是什么

YOLO（You Only Look Once）是一种流行的计算机视觉算法，用于实现物体检测任务。YOLO的主要特点是速度快，能够实现实时物体检测。它将整个图像放在一个实例中，并预测这些框的边界框坐标和及所属类别概率。它的CNN模型接收原始图像的像素作为输入，并直接输出一系列预测的边界框和相应的类别概率，而不需要任何中间步骤（如候选区域生成）。每个边界框由一组参数定义，包括边界框的位置（通常是中心坐标和大小）和它包含的物体的类别概率。

标注格式

YOLO使用的标注格式是每张图像一个文本文件，文件名与图像文件名相对应。文本文件中每一行对应一个边界框，格式为：< class > < x_center > < y_center > < width > < height >
其中，< class >是类别索引，< x_center >和< y_center >是边界框中心点相对于图像宽度和高度的比例，< width >和< height >是边界框的宽度和高度相对于图像宽度和高度的比例。

具体原理

步骤如下：
首先，输入图像：

然后，YOLO将输入图像划分为网格形式（例如3 X 3）：

最后，对每个网格应用图像分类和定位处理，获得预测对象的边界框及其对应的类概率。

在每个网格中预测：
1）边界框（Bounding Box）
查找落入网格的目标中心点，每个格子预测B个检测框
2）边界框的置信度（Confidence）
置信度是一个结合了物体存在概率和边界框精度的指标。在YOLO算法中，边界框的置信度是通过以下公式计算的：
置信度 = Pr(object)×IoU
其中，Pr(object)是边界框内包含物体的概率，是一个二分类问题，它只关心网格内是否有目标物体，而不关心目标的具体类别。只有当单元格内有目标物体时，Pr(object) 才为1，否则为0；IoU是预测边界框与真实边界框之间的交并比。

非极大值抑制

在实际应用中，YOLO的输出还会经过非极大值抑制（NMS），以去除那些高度重叠的边界框，确保每个物体只保留一个最佳的边界框。简单说就是在 IoU 较高的几个边界框中只保留概率最大的。举例

Baseline 解析

# 读取训练集视频
for anno_path, video_path in zip(train_annos[:5], train_videos[:5]):
    print(video_path)
    anno_df = pd.read_json(anno_path)
    cap = cv2.VideoCapture(video_path)
    frame_idx = 0 
    # 读取视频所有画面
    while True:
        ret, frame = cap.read()
        if not ret:
            break

        img_height, img_width = frame.shape[:2]
        
        # 将画面写为图
        frame_anno = anno_df[anno_df['frame_id'] == frame_idx]
        cv2.imwrite('./yolo-dataset/train/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.jpg', frame)

        # 如果存在标注
        if len(frame_anno) != 0:
            with open('./yolo-dataset/train/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.txt', 'w') as up:
                for category, bbox in zip(frame_anno['category'].values, frame_anno['bbox'].values):
                    category_idx = category_labels.index(category)
                    
                    # 计算yolo标注格式
                    x_min, y_min, x_max, y_max = bbox
                    x_center = (x_min + x_max) / 2 / img_width
                    y_center = (y_min + y_max) / 2 / img_height
                    width = (x_max - x_min) / img_width
                    height = (y_max - y_min) / img_height

                    if x_center > 1:
                        print(bbox)
                    up.write(f'{category_idx} {x_center} {y_center} {width} {height}\n')
        
        frame_idx += 1

这段代码将视频的每一帧及其标注保存为YOLO训练所需的图像和文本文件。每个文本文件对应一个图像文件，并包含该图像中物体的边界框标注。

from ultralytics import YOLO
model = YOLO("yolov8n.pt")
results = model.train(data="yolo-dataset/yolo.yaml", epochs=2, imgsz=1080, batch=16)

这段代码使用Ultralytics的YOLO库来训练一个YOLO模型。
目前还没有对模型做微调。