足球视频AI(三)——YOLOV7目标检测自训练模型

一、基础概念

YoloV7提供的yolov7-tiny.onnx 对于图像中包含较大尺寸的足球检测准确率高。

但在实际应用中，足球视频中的足球非常小，默认的模型难于满足实际的足球检测需求。

1.1 识别目标

1）固定机位的视频中足球的逐帧识别

1.2 实现思路

1）采用labelImg对视频中的逐帧图像进行标注，并保存为yolo格式

2）采用YoloV7源码对标注数据进行训练

3）集成到实践项目中

二、数据标注

下载labelImg

2.1 准备数据

编写简单的应用程序，从视频帧中采样关键帧图片（可以每隔60帧取一张），以下代码是样例

    public class LoadImages
    {      
		public static IEnumerable<Mat> LoadVideo(string file)
        {
            Mat imageOriginal = new Mat();
            using (var videocapture = new VideoCapture(file))
            {
                while (videocapture.Read(imageOriginal))
                    yield return imageOriginal;
            }
        }
    }

var mats = LoadImages.LoadVideo("您的多个视频逐个处理的文件地址");
int i=0;
mats.ForEach(p=>{
    p.SaveImage($"scene{i}.png");
    i++;
})

2.2 使用labelImg

2.2.1 配置

找到labelImg.exe所在目录，进入“data”文件夹，找到predefined_classes.txt 文件

dog
person
cat
tv
car
meatballs
marinara sauce
tomato soup
chicken noodle soup
french onion soup
chicken breast
ribs
pulled pork
hamburger
cavity

将文件中的内容清除，仅保留ball一项

ball

2.2.2 设置目录

双击labelImg.exe：

1，Open Dir是你的帧图片保存目录

2, Change Save Dir 是标注文件保存的目录

建立如下格式：

--Marks
  -- images
  -- lables 

其中 images 设置为Open Dir的目录，lables设置为 Change Save Dir的目录

2.2.3 标注图像

1. 左侧菜单中PascalVOC 确保更换为YOLO

2. 选择右下侧的Filelist中第一个文件，然后Create RectBox，在图像中标记足球。

3. 在BoxLabel中选择ball

4. 下一张

进入“labels”目录，会自动创建对应图像名字的标注文件"scene00601.txt"，形如：

0 0.555990 0.759633 0.057813 0.102752

三、训练图像

3.1 配置源码

1、下载YoloV7源码

git clone https://github.com/WongKinYiu/yolov7.git

2、安装依赖

1）打开VisualStudio Code
2）打开源码文件夹
3）创建命令终端

初始化环境

pip install -r requirements.txt

3、拷贝标注数据

--YoloV7-Main
  --cfg
  --data
    --train
        --images
        --labels
    --val
        --images
        --labels

将”二、标注数据“中的images和labels放到yolov7的data文件夹下，如上所示

其中，80%数据放到train中，为训练用数据；

​ 20%数据放在val中，为验证数据；

4、编辑coco文件

从data文件夹中打开**“coco.yaml”文件并删除前 4 行（直到下载部分）**。

设置‘train: data/train‘

设置‘val: data/val‘

设置 ‘nc:1‘ ，因为这里我们只有一个类别"ball"

设置 names:[‘ball’]

5、编辑yolov7.yaml

从cfg/training文件夹中，打开yolov7.yaml文件

设置 ‘nc:1‘ ，因为这里我们只有一个类别"ball"

6、下载预训练模型

下载[yolov7.pt](https://github.com/WongKinYiu/yolov7#performance文件

保存到YoloV7-Main 根目录

3.2 开始训练

命令终端输入以下指令

python train.py --workers 1 --device 0 --batch-size 16 --epochs 100 --img 640 640 --hyp data/hyp.scratch.custom.yaml --name yolov7-custom --weights yolov7.pt

两种情况：

1）有GPU，参阅GPU的配置

2）没有GPU，删除–device 0命令参数

四、项目集成

按yolov7官网的说明,yolov7-custom.pt 文件转为onnx文件

python export.py --weights=yolov7-custom.pt --grid --simplify

C#调用

    public class DetectorYolov7Custom : IDetector<YoloPrediction>
    {
        private readonly Yolov7 _yolo;
        public DetectorYolov7()
        {
            _yolo = new Yolov7(Path.Combine(System.AppDomain.CurrentDomain.BaseDirectory, "Assets/yolov7-custom.onnx"));
            _yolo.SetupYoloDefaultLabels();
        }

        /// <inheritdoc/>
        public List<YoloPrediction> Detect(Mat mat)
        {
            var items = _yolo.Predict(mat.ToBitmap());
            return items;
        }

        public void Dispose()
        {
            _yolo?.Dispose();
        }
    }

目标检测

        [Fact]
        public void TestYoloCuctomDetectBall()
        {
            var detector = new DetectorYolov7Custom();
            List<YoloPrediction> lst;
            using (var mat = LoadImages.Load("field_2.jpg"))
            {
                lst = detector.Detect(mat);
            }
            Assert.True(lst.Any(p=>p.Label?.Name?.Equals("ball") == true));
        }