用polygon-yolov7不规则多边形训练自己的数据集

已于 2024-01-31 15:32:25 修改
阅读量5.5k 收藏 48
点赞数 7
文章标签： python 开发语言 计算机视觉 目标检测 深度学习
于 2023-04-12 17:54:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63774211/article/details/129951139
版权

目录

 

1.polygon detection介绍

 2.不规则多边形数据集格式转换

3.如何训练polygon-yolov7

3.1 data/polygon_test.yaml修改

3.2  yolov7-tiny-polygon.yaml

3.3 train_polygon.py修改

3.4  开启训练

4.性能评价

1.Yolov7介绍

官方版的YOLOv7相同体量下比YOLOv5精度更高，速度快120%（FPS），比 YOLOX 快180%（FPS），比 Dual-Swin-T 快1200%（FPS），比 ConvNext 快550%（FPS），比 SWIN-L快500%（FPS）。在5FPS到160FPS的范围内，无论是速度或是精度，YOLOv7都超过了目前已知的检测器，并且在GPU V100上进行测试， 精度为56.8% AP的模型可达到30 FPS（batch=1）以上的检测速率，与此同时，这是目前唯一一款在如此高精度下仍能超过30FPS的检测器。 

 

1.1.polygon detection介绍（不规则四边形的目标检测）

使模型输出的是x1,y1,x2,y2,x3,y3,x4,y4,box_score,class_score，也就是去掉box分支，这时可以减小模型体积，减少计算量。修改的地方在yolov5的检测头和loss函数，图解如下：

(1).build_targets函数和检测头Detect

(2). 4个角点逆时针排序 

(3). polygon box loss 

 2.不规则多边形数据集格式转换

在ultralytics/yolov5的检测头里添加一个学习四个角点的分支，这时，模型输出的每个候选框里包含的信息是 x,y,w,h, box_score, x1,y1,x2,y2,x3,y3,x4,y4, class_score这种形式，其中x1,y1,x2,y2,x3,y3,x4,y4表示4个角点的坐标值x和y。这时候的模型就能满足项目的需求，但是注意到水平矩形框的位置信息x,y,w,h在项目里并没有起作用，因此水平矩形框的位置信息是一个冗余的信息。
 

标注数据集格式如下：

<annotation>
    <folder>JPEGImages</folder>
    <filename>BB1_0_0_0_1.jpg</filename>
    <source>
        <database>Unknown</database>
    </source>
    <size>
        <width>640</width>
        <height>640</height>
        <depth>3</depth>
    </size>
    <segmented>0</segmented>
    
    <object>        
        <name>BB1</name>
        <pose>Unspecified</pose>
        <truncated>0</truncated>
        <difficult>0</difficult>
        <gt_poly>
            <x1>127.0</x1>
            <y1>276.0</y1>
            <x2>127.0</x2>
            <y2>373.0</y2>
            <x3>532.0</x3>
            <y3>373.0</y3>
            <x4>532.0</x4>
            <y4>276.0</y4>
        </gt_poly>
    </object>
    
</annotation>

格式转换代码： 

python Polygon_xml_txt.py --xml_dir Annotations --output_dir labels --classes BB1,BB3
#python Polygon_xml_txt.py --xml_dir Annotations --output_dir labels --classes BB1,BB3
import os
import glob
import argparse
import xml.etree.ElementTree as ET

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument('--xml_dir', type=str, help='Path to the directory containing XML files')
    parser.add_argument('--output_dir', type=str, help='Path to the output directory')
    parser.add_argument('--classes', type=str, help='Comma-separated list of classes')
    args = parser.parse_args()
    return args

def convert(xml_dir, output_dir, classes):
    xml_files = glob.glob(os.path.join(xml_dir, '*.xml'))
    for xml_file in xml_files:
        basename = os.path.basename(xml_file)
        filename = os.path.splitext(basename)[0]
        outfile = os.path.join(output_dir, f'{filename}.txt')
        with open(outfile, 'w') as f:
            tree = ET.parse(xml_file)
            root = tree.getroot()
            size = root.find('size')
            width = int(size.find('width').text)
            height = int(size.find('height').text)
            for obj in root.iter('object'):
                cls = obj.find('name').text
                if cls not in classes:
                    continue
                cls_id = classes.index(cls)
                xml_box = obj.find('gt_poly')
                x1 = float(obj.find('gt_poly/x1').text)
                y1 = float(obj.find('gt_poly/y1').text)
                x2 = float(obj.find('gt_poly/x2').text)
                y2 = float(obj.find('gt_poly/y2').text)
                x3 = float(obj.find('gt_poly/x3').text)
                y3 = float(obj.find('gt_poly/y3').text)
                x4 = float(obj.find('gt_poly/x4').text)
                y4 = float(obj.find('gt_poly/y4').text)
                
                yolo_x1 = round(float(x1 / width), 6)
                yolo_y1 = round(float(y1 / height), 6)
                yolo_x2 = round(float(x2 / width), 6)
                yolo_y2 = round(float(y2 / height), 6)
                yolo_x3 = round(float(x3 / width), 6)
                yolo_y3 = round(float(y3 / height), 6)
                yolo_x4 = round(float(x4 / width), 6)
                yolo_y4 = round(float(y4 / height), 6)

                f.write(f'{cls_id} {yolo_x1:.6f} {yolo_y1:.6f} {yolo_x2:.6f} {yolo_y2:.6f} {yolo_x3:.6f} {yolo_y3:.6f} {yolo_x4:.6f} {yolo_y4:.6f} \n')

if __name__ == '__main__':
    args = parse_args()
    classes = args.classes.split(',')
    convert(args.xml_dir, args.output_dir, classes)

转化后的格式如下：

0 0.198437 0.431250 0.198437 0.582812 0.831250 0.582812 0.831250 0.431250

源码获取：GitHub - AlbinZhu/yolov7-polygon-detection: yolov7-polygon-detection 

3.如何训练polygon-yolov7

3.1 data/polygon_test.yaml修改

train: ../test/trian/ # 
val: ../test/val/ 

# number of classes
nc: 2

# class names
names: ['BB1', 'BB3']

3.2  yolov7-tiny-polygon.yaml

# parameters
nc: 2  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

# anchors
anchors:
  # - [10,13, 16,30, 33,23]  # P3/8
  # - [30,61, 62,45, 59,119]  # P4/16
  # - [116,90, 156,198, 373,326]  # P5/32

  - [31, 30, 28, 49, 50, 31]  # P3/8
  - [46, 45, 58, 58, 74, 74]  # P4/16
  - [94, 94, 115, 115, 151, 151]  # P5/32

# yolov7-tiny backbone
backbone:
  # [from, number, module, args] c2, k=1, s=1, p=None, g=1, act=True
  [[-1, 1, Conv, [32, 3, 2, None, 1, nn.LeakyReLU(0.1)]],  # 0-P1/2  
  
   [-1, 1, Conv, [64, 3, 2, None, 1, nn.LeakyReLU(0.1)]],  # 1-P2/4    
   
   [-1, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 7
   
   [-1, 1, MP, []],  # 8-P3/8
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 14
   
   [-1, 1, MP, []],  # 15-P4/16
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 21
   
   [-1, 1, MP, []],  # 22-P5/32
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [256, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [256, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 28
  ]

# yolov7-tiny head
head:
  [[-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, SP, [5]],
   [-2, 1, SP, [9]],
   [-3, 1, SP, [13]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -7], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 37
  
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [21, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]], # route backbone P4
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 47
  
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [14, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]], # route backbone P3
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 57
   
   [-1, 1, Conv, [128, 3, 2, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, 47], 1, Concat, [1]],
   
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 65
   
   [-1, 1, Conv, [256, 3, 2, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, 37], 1, Concat, [1]],
   
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 73
      
   [57, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [65, 1, Conv, [256, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [73, 1, Conv, [512, 3, 1, None, 1, nn.LeakyReLU(0.1)]],

   [[74,75,76], 1, Polygon_Detect, [nc, anchors]],   # Detect(P3, P4, P5)
  ]

3.3 train_polygon.py修改

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--weights', type=str, default='weights/yolov7-tiny.pt', help='initial weights path')
    parser.add_argument('--cfg', type=str, default='cfg/training/yolov7-tiny-polygon.yaml', help='model.yaml path')
    parser.add_argument('--data', type=str, default='data/polygon_test.yaml', help='data.yaml path')
    parser.add_argument('--hyp', type=str, default='data/hyp.ucas.yaml', help='hyperparameters path')
    parser.add_argument('--epochs', type=int, default=300)
    parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs')
    parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='[train, test] image sizes')
    parser.add_argument('--rect', action='store_true', help='rectangular training')
    parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')
    parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')
    parser.add_argument('--notest', action='store_true', help='only test final epoch')
    parser.add_argument('--noautoanchor', action='store_true', help='disable autoanchor check')
    parser.add_argument('--evolve', action='store_true', help='evolve hyperparameters')
    parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
    parser.add_argument('--cache-images', action='store_true', help='cache images for faster training')
    parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training')
    parser.add_argument('--device', default='1', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
    parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%')
    parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class')
    parser.add_argument('--adam', action='store_true', help='use torch.optim.Adam() optimizer')
    parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode')
    parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify')
    parser.add_argument('--workers', type=int, default=0, help='maximum number of dataloader workers')
    parser.add_argument('--project', default='runs/train', help='save to project/name')
    parser.add_argument('--entity', default=None, help='W&B entity')
    parser.add_argument('--name', default='exp', help='save to project/name')
    parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
    parser.add_argument('--quad', action='store_true', help='quad dataloader')
    parser.add_argument('--linear-lr', action='store_true', help='linear LR')
    parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')
    parser.add_argument('--upload_dataset', action='store_true', help='Upload dataset as W&B artifact table')
    parser.add_argument('--bbox_interval', type=int, default=-1, help='Set bounding-box image logging interval for W&B')
    parser.add_argument('--save_period', type=int, default=-1, help='Log model after every "save_period" epoch')
    parser.add_argument('--artifact_alias', type=str, default="latest", help='version of dataset artifact to be used')
    parser.add_argument('--freeze', nargs='+', type=int, default=[0], help='Freeze layers: backbone of yolov7=50, first3=0 1 2')
    parser.add_argument('--polygon', action='store_true', help='enable polygon anchor boxes')
    opt = parser.parse_args()

3.4  开启训练

python train_polygon.py --polygon

4.性能评价

map为0.984

 测试图片结果可视化：

基于YOLOv8 的 多边形区域内目标检测，跟踪，计数
shiter编写程序的艺术
08-03 4175
yolov8 检测物体是否在多边形危险区域内,判断点是否在多边形内部的。
yolov7polygondetectiomain
10-22
yolov7polygondetectiomain
yolov7-ploygon
01-30
诉讼诉讼诉讼诉讼
【Mapbox】介绍及基本使用
zhenshu_guo的博客
03-15 2470
Mapbox 介绍及基本使用
yolo v5 中 letterbox对不规则矩形框的输入调整
钱多多先森
04-04 994
yolo v5 中 letterbox对不规则矩形框的输入调整的理解与记录
yolov8训练detect（目标检测）数据集
m0_63493883的博客
08-01 775
注意，参数设置优先是results = model.train(task='detect',data="datasets/detect/dataset.yaml", model='yolov8n.pt', epochs=300, imgsz=640, batch=16, workers=0, resume=False)这个里面的。根据自己情况修改参数，或直接去ultralytics/cfg/default.yaml路径下修改，是 一样的。至此，数据集转换完成。
【目标检测】统计YOLO实例分割标注Polygon多边形像素&BBox
ericdiii的博客
06-13 1037
统计YOLO实例分割格式各类别多边形像素数和目标框数量
不规则mask数据集.zip
11-30
NVIDIA Irregular Mask Dataset | mask 12000 张 png；
VTK学习笔记：数据集之多边形数据集
kingmicrosoft的专栏
04-25 3342
Detailed Description concrete dataset represents vertices, lines, polygons, and triangle strips vtkPolyData is a data object that is a concrete implementation of vtkDataSet. vtkPolyData represen
nesting —— 二维不规则多边形排料 —— 测试数据集【付费分享】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
01-08 1547
这是一篇关于排料问题 二维不规则多边形 数据集 的简介 主要是做了一些工作调研，就排料问题而言，对这方面有兴趣的新同学欢迎付费探讨； 了解什么是不规则多边形 排料 https://blog.csdn.net/weixin_44363614/article/details/102620196 不规则图形的降序打包算法 相关论文 Descending Packing Algorithm for Irregular Graphics Based on Geometric Feature Points .
分割掩码标注转YOLO多边形标注
新缸中之脑
09-25 1600
Ultralytics 团队付出了巨大的努力，使创建自定义 YOLO 模型变得非常容易。但是，处理大型数据集仍然很痛苦。训练 yolo 分割模型需要数据集具有其特定格式，这可能与你从大型数据集中获得的格式不完全相同。如果你想使用巨大的 OpenImagesV7 作为图像和标签的来源，情况就是如此。在本教程中，我们将介绍如何从 OpenImagesV7 获取数据（图像和分割掩码）；如何将其转换为 YOLO 格式（这是本教程中最复杂的部分）；以及如何使用我们的数据集训练 yolov8-seg 模型的预览。
图像识别程序：多边形物体检测
10-20
用于多边形物体的检测，基于opencv.
多边形框架物体检测27-YOLO（v5至v11）、COCO、CreateML、Paligemma、TFRecord、VOC数据集合集.rar
12-23
多边形框架物体检测27-YOLO（v5至v11）、COCO、CreateML、Paligemma、TFRecord、VOC数据集合集.rarUE4_ALL_TEST -V3 UE4_TEST_EEQEEQUALS_PROP_TRUSSES_W_THICKSAT ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 它包括3695张图像。 桁架以可可格式注释。 将以下预处理应用于每个图像： 没有应用图像增强技术。
YOLOv3训练集标签工具宝典：推荐和使用指南
[YOLOv3训练集标签工具宝典：推荐和使用指南](https://powersai.info/wp-content/uploads/2024/03/910a3d2673da46158feba6c699c9240dnoop.image_.png) # 1. YOLOv3训练集标签工具介绍 YOLOv3训练集标签工具是一种...
yolov8分割集
03-20
### YOLOv8图像分割的数据集使用教程 YOLOv8 是一种先进的目标检测和实例分割框架，其图像分割功能可以用于识别和定位图像中的不规则区域。以下是关于如何准备数据集以及训练模型的具体说明。 #### 1. 数据集格式 ...
PaddlePaddle/PaddleOCR 中英文文字识别
钱多多先森
09-06 9552
1.准备工作 GitHub地址：https://github.com/PaddlePaddle/PaddleOCR 1.QUICK INSTALLATION：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/doc/doc_en/installation_en.md 2.Quick start of Chinese OCR model:https://github.com/PaddlePaddle/PaddleOCR/blob/rel
构建YOLO11实例分割训练集
01-12
### 构建适用于YOLOv11实例分割的训练数据集 #### 选择合适的标注工具 为了准备高质量的训练数据，选择适合的标注工具至关重要。常用的标注工具有LabelMe、VGG Image Annotator (VIA) 和 Supervisely等。这些工具...
yolo输出框为多边形
最新发布
05-06
训练数据方面，需要多边形标注的数据集，可能需要用户自己标注或寻找现有的数据集。此外，数据增强策略也需要适应多边形，比如旋转、缩放等操作会影响顶点坐标，需要正确处理。 可能还需要考虑多边形的顺序问题，...
song_yeon的yolov7poly_nms_cuda
song_yeon的博客
02-04 360
【代码】song_yeon的yolov7poly_nms_cuda。
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小怪兽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值