Charley- Datawhale AI 夏令营 第五期 CV Task2 学习笔记

训练优化

增加训练集

增大训练集的大小，可以增强模型的泛化能力，于是我们把baseline中只取训练集中的5个视频改为了全部视频文件

# before optimization
for anno_path, video_path in zip(train_annos[:5], train_videos[:5]):

# after optimization
for anno_path, video_path in zip(train_annos, train_videos):
# 需要注意的是，按照官方教程直接在系统盘下载代码，代码运行的数据会全部保存在系统盘中，导致容量不够，我们需要将全部文件保存在数据盘data中

减少重复帧

由于训练集是一个个视频，由局部性原理，连续的帧中必然有相似的内容，我们每10帧取1帧进行训练，在损失一点点泛化程度的代价下可以大大提高训练速度

# before optimization
cap = cv2.VideoCapture(video_path)
while True:
    ret, frame = cap.read()
    if not ret:
        break

# after optimization        
cap = cv2.VideoCapture(video_path)
frame_skip = 10  # 每 10 帧读取 1 帧
while True:
    ret, frame = cap.read()
    if not ret:
        break
    for _ in range(frame_skip - 1): # 跳过9帧
        cap.grab() # 相比read()，使用grab()可以不返回图像内容，可以提高运行速度

换用精度更高的模型

在baseline中使用的yolov8n模型，可以较快解决较小的问题，换用参数更复杂的v8x模型，虽然运行速度变慢，但模型精度会提高

# before optimization
!wget http://mirror.coggle.club/yolo/yolov8n-v8.2.0.pt -O yolov8n.pt
model = YOLO('yolov8n.pt')

# after optimization  
!wget http://mirror.coggle.club/yolo/yolov8x-v8.2.0.pt -O yolov8x.pt
model = YOLO('yolov8x.pt')

模型复用

通过模型复用，可以将一个完整的训练过程细分为多次训练过程，同时可以较为精确地控制每个阶段的各项参数，实施诸如退火，反相，旋转等方法，来提高模型的泛化能力和精度

# before optimization
model = YOLO("runs/detect/train3/weights/best.pt")

# after optimization
model = YOLO('yolov8x.pt')

学习率递减

在反复多次的训练中，前期使用较大的学习率能使模型快速逼近，后期使用较小的学习率能使模型精确拟合

# before optimization
results = model.train(data="yolo-dataset/yolo.yaml", epochs=10, imgsz=1080, batch=8) # default lr0=0.01

# after optimization
results = model.train(data="yolo-dataset/yolo.yaml", epochs=10, imgsz=1080, batch=8, lr0=0.001)

结果展示

可以看到，经过优化的模型，loss趋近于0，precision和recall已经十分接近1了