深度学习：利用Detectron2训练自己的数据集之目标检测

最新推荐文章于 2024-06-12 13:25:54 发布
最新推荐文章于 2024-06-12 13:25:54 发布
阅读量2.3k 收藏 20
点赞数 5
分类专栏： 目标检测 文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42565090/article/details/114235676
版权

目录


本文主要阐述如何利用Detectron2来进行目标检测。

一、Detectron2简介

  • Detectron2 前身就是鼎鼎大名的Detectron，其实Detectron可以说是Facebook第一代检测工具箱，目前在github上获得 22.5k star！其不仅支持 Detectron已有的目标检测、实例分割、姿态估计等任务，还支持语义分割和全景分割。新增了Cascade R-CNN，Panoptic FPN和TensorMask新模型。
  • Detectron2 与mmDetection、SimpleDet被称为目标检测三大神器。

二、基本开发环境搭建

  1. 本人使用的开发环境如下：
  • 系统：ubuntu20.04(64位)，Python3.7.9；
  • 框架：Pytorch1.7.1；
  • 图像处理：opencv3.4.2，opencv-python4.5.1.48；
    ubuntu系统环境安装（包括：显卡驱动安装、cuda和cudnn安装）教程有很多，本文不再给出。
  1. 安装依赖：
# 创建环境
conda create -n python37_rw python=3.7.9
# 安装 pytorch cpu
conda install pytorch torchvision torchaudio cpuonly -c pytorch
# 安装 pytorch gpu
conda install pytorch torchvision torchaudio cudatoolkit=11.2 -c pytorch
# 安装 opencv
conda install opencv-python
# 安装 flask
conda install flask
# 安装 gcc g++
sudo apt install gcc g++
# 安装 detectron2
python -m pip install -e detectron2

另外，为了快速编译，还可安装ninja，ninja安装方法可参见这篇文章；

三、数据准备

  1. 标注工具选择
  • 所需要的环境搭建好以后，接下来便是准备数据集。数据集是深度学习的根源，可以说，数据集的质量决定了模型的质量。说到数据集，这里不得不提一下数据集的标注工具，常用的两种分别为：Via和labelme。二者的最大区别为：（1）Via是以网页形式进行标注，而labelme为线下的本地形式进行标注；（2）Via一次标注多张图片后，得到一个.json文件，而labelme一次标注多张图片后，分别得到多个与图片相对应的.json文件；至于使用哪一个标注工具，因人而异，个人更倾向于使用后者进行数据标注。值得注意的是，数据集的标注是个大工程，标注质量的好坏直接影响到模型的精准度。
  • 我们在起初时候使用的是Via进行数据标注，由于Via是网页形式进行标注，收到诸多因素限制（如：网络，标签定义与修改等）我们最终选择了Labelme，并将Via标注得到的.json文件转化为了Labelme格式的.json文件。代码如下：
import io
from io import BytesIO
import binascii
import json
import numpy as np
import PIL
import os.path as osp
from labelme.logger import logger
from labelme import PY2
from labelme import QT4
import PIL.Image
import base64
from labelme import utils
import os
import sys

module_path = os.path.abspath(os.path.join('..'))
if module_path not in sys.path:
    sys.path.append(module_path)
# 定义label标签类别
from networkx.generators.tests.test_small import null

def RecongnitionRet (ret ):
	# 这里的“****”需要更改成为你所需要的类别名称，如：person、ballon等，
    if ret == 1:
        label_ret = "****"
    if ret == 2:
        label_ret = "****"
    if ret == 3:
        label_ret = "****"

    return label_ret

# 生成imagedata
def load_image_file(filename):
    try:
        image_pil = PIL.Image.open(filename)
    except IOError:
        logger.error('Failed opening image file: {}'.format(filename))
        return

    # 指定图片格式
    image_pil = utils.apply_exif_orientation(image_pil)
    image = np.array(image_pil)
    with io.BytesIO() as f:
        ext = osp.splitext(filename)[1].lower()
        if PY2 and QT4:
            format = 'PNG'
        elif ext in ['.jpg', '.jpeg']:
            format = 'JPEG'
        else:
            format = 'PNG'
        image_pil.save(f, format=format)
        f.seek(0)
        return f.read(), image

# 转化成json字典
def dict_json(flags, imageData, shapes, imagePath, imageHeight=100, imageWidth=100):
    '''
    :param imageData: str
    :param shapes: list
    :param imagePath: str
    :return: dict
    '''
    return {"version": "4.5.6", "flags": flags, "shapes": shapes,
            'imagePath': imagePath.split('/')[-1], "imageData": imageData, 'imageHeight': imageHeight,
            'imageWidth': imageWidth}

if __name__ == '__main__':
    # print("hello word ... ")
    # 读取json文件内容,返回字典格式，此处需要更改文件路径及json名称
    with open('/home/ytf/PycharmProjects/tools/via_project_5Jan2021_17h40m_json.json', 'r',encoding='utf8') as fp:
        json_data = json.load(fp)
    key_list = json_data.keys()

    # 遍历via_json中所有标注的图片
    for k in key_list:
        print("keynum =", k)
        # 获取json文本内容
        list_data = json_data[k]
        print("list_data ===", list_data)
        # 获取图片名字
        filename = list_data.get('filename')
        imagePath = filename
        # 生成图片数据, 此处需要更改文件路径及名称
        image_Path = '/home/ytf/PycharmProjects/tools/' + imagePath
        imageData, image = load_image_file(image_Path)
        imageData = base64.b64encode(imageData).decode('utf-8')
        imageHeight = image.shape[0]
        imageWidth = image.shape[1]
        # 获取标注框轮廓区域
        regions = list_data.get('regions')
        # 获取轮廓属性
        newshapes = []
        shapes = []
        for i in range(0, len(regions)):
            regions_ret = regions[i]
            # 轮廓属性
            shape_attributes = regions_ret.get('shape_attributes')
            # 轮廓属性-类型
            shape_type = shape_attributes.get('name')
            # 轮廓属性-所有横坐标点
            all_points_x = shape_attributes.get('all_points_x')
            # 轮廓属性-所有纵坐标点
            all_points_y = shape_attributes.get('all_points_y')
            # 轮廓属性-标签
            region_attributes = regions_ret.get('region_attributes')
            reg_val = region_attributes.get('shapes')
            label = RecongnitionRet (int(reg_val ))
            # 横纵坐标组合
            points = []
            x = []
            for m in range(0, len(all_points_x)):
                point = [np.float(all_points_x[m]), np.float(all_points_y[m])]
                points.append(point)
            # 组合新的json成员
            flags = {}
            line_color = None
            fill_color = None
            group_id = None
            newshapes.append(
                {"label": label,
                "points": points,
                "group_id": group_id,
                "shape_type": shape_type,
                "flags": flags})
            # print("newshapes ==", newshapes)
        data_final = dict_json(flags, imageData, newshapes,imagePath, imageHeight, 	
        			imageWidth)
        json_file = imagePath[:-4] + '.json'
        print("json_file =", json_file)
        json.dump(data_final, open(json_file, 'w'))
  1. 加载数据集合
# 加载数据集合
    register_coco_instances("dataset", {}, "../datasets/project/train_coco/test_coco.json", ".")

上代码中的test_coco.json文件是将标注好的数据，通过调用labelme2coco.py文件生成，具体实现代码如下：

import labelme2coco

# set directory that contains labelme annotations and image files
labelme_folder = "../datasets/project/train/"		# 图片与.json文件路径
# set path for coco json to be saved
save_json_path = "../datasets/project/train_coco/test_coco.json" # 保存路径
# convert labelme annotations to coco
labelme2coco.convert(labelme_folder, save_json_path)

四、参数调整

  • 数据集准备好以后，接下来，便可进行训练参数的调整。Detectron2工程中集有基于以ResNet50、ResNet101为骨干网络的目标检测与分割的预训练权重文件，将相应的参数进行调整便可实现预期效果。不可谓不强大呀。
    实际使用中，参数可进行调整，主要需要调整的有：
# 根据实际的使用需要，可在mask_rcnn_R_50_FPN_3x.yaml等文件中，配置需要更改的参数
MODEL:
# 选用哪种骨干网络，主要有R-50, R-101两种；
  WEIGHTS: "detectron2://ImageNetPretrained/MSRA/R-50.pkl"
  MASK_ON: True
  RESNETS:
    DEPTH: 50
  
  STEPS: (210000, 250000)  # 在这个区间内，学习率进行周期性的降低
  MAX_ITER: 270000		# 最大迭代次数
  IMS_PER_BATCH: 8		# 批大小，每次迭代加载的图片数
  BASE_LR: 0.002		# 学习率
INPUT:
  MIN_SIZE_TRAIN: (600, 700, 800, 900)  # 最小训练尺寸，这里是多尺度训练，可提高模型的精准度，但		
  										# 会加大模型训练耗时
  MAX_SIZE_TRAIN: 1333                  # 训练的最大尺寸

五、模型训练

  • 首先，需要加载上文中生成的test_coco.json文件与及参数文件，若该文件加载错误，则训练无法进行。
# 模型训练
def train():
	# 加载数据
    register_coco_instances("dataset", {}, "../datasets/project/train_coco/test_coco.json", ".")
	# 配置参数
    cfg = get_cfg()                            # 获取配置参数
    cfg.OUTPUT_DIR = "../projectName-output"   # 模型输出路径
    cfg.merge_from_file("../configs/project/mask_rcnn_R_50_FPN_3x.yaml") # 选用resnet50作		为卷积网络                   
    cfg.DATASETS.TRAIN = ("dataset",)
    cfg.DATASETS.TEST = ()  # no metrics implemented for this dataset
    cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml")  # initialize from model zoo
  • 数据增广：为了提高模型的精准度及泛化能力，可对数据集进行几何变换和光学变换，即数据增广。光学变换主要包括亮度亮度和对比度等随机调整，可调整图片像素值大小，而并不会改变图像尺寸；集合变换主要包括剪裁和镜像等操作，主要为尺度上的变换。在Detectron2中提供了十多种数据增强的接口，可根据具体需要进行调用。

六、模型测试

  • 得到训练模型后，便可对模型进行测试。
import os
import time
import cv2
import numpy as np
from detectron2 import model_zoo
from detectron2.config import get_cfg
from detectron2.data import DatasetCatalog
from detectron2.data import MetadataCatalog
from detectron2.data.datasets import register_coco_instances
from detectron2.engine import DefaultPredictor
from detectron2.utils.visualizer import ColorMode, Visualizer

if __name__ == '__main__':
    cfg = get_cfg()
    cfg.MODEL.DEVICE = 'cpu'     # 这里可定义是调用CPU还是GPU，默认GPU
    cfg.OUTPUT_DIR = '../output'
    register_coco_instances("dataset", {}, "../datasets/"
                                                      "project/"
                                                      "train_coco/"
                                                      "test_coco_" +
                                                      ".json", ".")
    metadata = MetadataCatalog.get("dataset")
    cfg.merge_from_file("../configs/project/mask_rcnn_R_50_FPN_3x.yaml")
    cfg.DATASETS.TRAIN = ("dataset",)
    cfg.DATASETS.TEST = ()

    cfg.MODEL.WEIGHTS = os.path.join(cfg.OUTPUT_DIR, "model_" + use_model + ".pth")  # path to the model we just trained
    cfg.MODEL.ROI_HEADS.NUM_CLASSES = 3 # 类别数量，此参数若是不能与训练时的保持一致，测试结果将会严重错误（如：类别错位，只显示一种类别等）
    score_test = 0.5
    cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = score_test  # 低于50分的box过滤掉
    dataset_dicts = DatasetCatalog.get("dataset")
    # 测试图片保存路径
    path_saveFile = "../need_test_img/"
    # 判断保存目录路径是否存在，若不存在则创建
    if os.path.isdir(path_saveFile):
        pass
    else:
        os.mkdir(path_saveFile)
    # 判断要测试的子文件是否存在，若不存在则创建
    path_saveImg = path_saveFile + "/" + test_project + "/"
    if os.path.isdir(path_saveImg):
        pass
    else:
        os.mkdir(path_saveImg)

    # 遍历所有待检测图片
    print("\n\nPlease wait a moment...")
    for root, dirs, files in os.walk("../need_test_img/"):
        if len(files) == 0:
            print("The file has no image...")
            break
        for d in dirs:
            print("image number =", d)
        for file in files:
            image_path = root + '/' + file
            img_name = image_path.split('/')[-1].split('.')[0]
            img = cv2.imread(image_path)
            imgH, imgW = img.shape[:2]
            maxValue = max(imgH, imgW)

            # cfg.INPUT.MAX_SIZE_TEST = int(maxValue/2.66)
            # cfg.INPUT.MIN_SIZE_TEST = int(maxValue/1.25)
            predictor = DefaultPredictor(cfg)

            outputs_test = predictor(img)
            # print("outputs_test =", outputs_test)
            v_test = Visualizer(img[:, :, ::-1],
                                metadata=metadata,
                                scale=1,
                                instance_mode=ColorMode.IMAGE_BW)
            # print("v_test =", v_test)
            out_test = v_test.draw_instance_predictions(
                outputs_test["instances"].to("cpu"))

            # 写入检测好的图片
            cv2.imwrite(path_saveImg + img_name + ".jpg",
                        out_test.get_image()[:, :, ::-1])
    print("\n\nEnd of test process...")

Detectron2默认一张图片上最大可检测目标的数量为100，如果需要检测的目标数量超过了100， 那么就需要对该参数进行更改；

TEST:
  DETECTIONS_PER_IMAGE: 100			# 可检测目标的最大数量

七、总结

  • Detectron2做为当下目标检测的神器之一，其功能强大不容置喙。本文只是简单的介绍了下如何利用其进行训练自己的数据集。后续将会继续深入研究其底层原理，主要包括：骨干网络ResNet50、ResNet101的卷积原理，所使用的激活函数，损失函数，优化器等设计与实现方法。

八、参考

  1. https://blog.csdn.net/qiuguolu1108/article/details/103842556
  2. https://zhuanlan.zhihu.com/p/96931265
默语..
关注
  • 5
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 17
    评论
专栏目录
detectron2（目标检测框架）无死角玩转-04：训练自己的数据
江南才尽江南山，年少无知年少狂！
01-18 1万+
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：a944284742相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 detectron2（目标检测框架）无死角玩转-00：目录 前言 通过前面的博客，我们已经知道怎么去评估以及训练一个模型，但是都是基于官方的数据集进行训练，那么我们如何去训练......
Detectron2训练自己的目标检测数据集
weixin_43229348的博客
09-08 4123
本教程实现使用Detectron2库训练自定义目标检测器。值得注意的是，Detectron2库远不止目标检测，它支持语义分割、关键点检测、掩码和稠密估计。 我们将介绍在自定义对象上训练Detectron2所需的步骤。我们使用公共血细胞检测数据集。 为了训练我们的检测器，我们采取以下步骤: 获取Detectron2的Docker镜像，并创建自己的容器 可视化Detectron2的训练数据 编写我们的Detectron2训练配置 运行Detectron2训练 评估Detectron2性能 在测试图像上运行De
使用Detectron2分6步进行目标检测
TensorFlowNews
10-25 1223
作者|Aakarsh Yelisetty 编译|Flin 来源|towardsdatascience 让我们看看如何在涉及文本识别的自定义数据集上使用FAIR（Facebook AI Research）的Detectron 2进行实例检测。 你是否尝试过使用你自己选择的自定义数据集从头开始训练对象检测模型？ 如果是的话，你就会知道这个过程有多乏味。如果我们选择基于区域建议的方法，如更快的R-CNN，或者我们也可以使用SSD和YOLO等一次性检测器算法，我们需要从使用特征金字塔网络和区域建议网络来构建模型。
【基于detectron2训练数据集】
最新发布
ruotianxia的博客
06-12 354
【代码】【基于detectron2训练数据集】
detectron2训练自己的数据集_训练我们自己的数据来实现目标检测和关键点检测,detectron2,一,ubuntu1804,安装,测试...
weixin_39955149的博客
11-29 815
想了解更多好玩的人工智能应用，请关注公众号“机器AI学习 数据AI挖掘”，”智能应用"菜单中包括：颜值检测、植物花卉识别、文字识别、人脸美妆等有趣的智能应用。。1. 配置1.1 环境要求2. 环境安装2.1 torch 和 torchvision2.2 cocoapi (pycocotools)2.3 下载安装detectron23. 测试detectron21. 配置基本配置版本号CP...
detectron2训练自己的数据集
一个努力写代码的小菜鸟，目前主要从事图像算法，目标检测/分割，模型量化与部署的工作
11-25 4928
关于detectron2的代码跑通过程
使用Detectron2目标检测&特征提取
qq_42283621的博客
09-06 1655
官网githubFaster R-CNN原论文R-CNN Fast R-CNN Faster R-CNN视频讲解Detectron2是Facebook AI Research的下一代库，提供最先进的检测和分割算法。它是Detectron和maskrcnn-benchmark的继承者。它支持Facebook中的许多计算机视觉研究项目和生产应用。演示为ubuntu16.04下cpu版本的安装和使用。
Python-开源目标检测框架Detectron的PyTorch实现
08-11
在深度学习领域，目标检测是计算机视觉中的关键任务之一，它旨在识别图像中的特定对象并确定其位置。Detectron是由Facebook AI Research（FAIR）开发的一个强大的目标检测框架，它以Caffe2为后盾，但随着PyTorch的...
Python-Detectron是FAIR的目标检测研究平台实现MaskRCNNRetinaNet等流行算法
08-11
然后，你可以通过配置文件指定所使用的模型、数据集和其他参数，运行训练脚本来训练自己的模型。对于新手来说，官方提供的教程和文档是一份宝贵的资源，可以帮助快速上手。 在实际应用中，Detectron可以广泛应用于...
detectron2_onenet:了解detetron2的源代码-one source code
03-24
同时，通过深入学习源代码，开发者可以学习到如何利用Detectron2构建自己的物体检测模型，甚至开发新的检测算法。 总之，Detectron2_onenet为学习和研究Detectron2提供了宝贵的资源。通过分析源代码，我们可以深入...
构建目标检测软件.zip
07-07
开发目标检测软件时，可以利用现有的开源框架，如TensorFlow Object Detection API或PyTorch的Detectron2，它们提供了现成的模型和工具，简化了开发过程。此外，还可以考虑使用图像处理库如OpenCV，它提供了多种...
Detectron2-Train-a-Instance-Segmentation-Model:了解如何使用Detectron2训练自定义实例细分模型
05-05
Detectron2训练自定义实例细分模型 1.安装 请参阅官方。 2.收集数据 收集图像数据很简单。 您可以使用某种相机自己拍照，也可以从互联网下载图像。 要构建健壮的模型，您需要具有不同背景，不同照明条件以及背景中随机物体的图片。 对于我的微控制器数据集，我有四个不同的对象（（Arduino Nano，ESP8266，Raspberry Pi 3和Heltect ESP32 Lora）。我使用智能手机拍摄了每个微控制器的约25张照片，其中包含25个包含多个微控制器的图片。确保将其转换为适合训练的分辨率（我使用了800x600）。 3.标签数据 收集了足够的图像之后，就可以为它们加上标签了，这样您的模型就知道该学习什么了。 为了标记数据，您将需要使用某种标记软件。 对于物体检测，我们使用了 ，这是一种出色的图像注释工具，同时支持PascalVOC和Yolo格式。 对于图像分割/实例
DeepSeaNet：使用 EfficientDet 改进水下物体检测
06-19
通过对YOLO系列（YOLOv3、YOLOv4、YOLOv5、YOLOv8）以及Detectron2和EfficientDet等模型在该数据集上的性能比较，作者揭示了不同模型在水下检测任务中的优势和局限性。结果显示，EfficientDet在平均精度（mAP）上...
detectron2训练自己的数据集及demo测试
m0_50948137的博客
06-17 549
创建coco文件夹，并将train_JPEGImages和val_JPEGImages放入里面并改名为train2017和val2017,创建annotations文件夹并将instances_train2017.json和instances_val017.json(或者通过改变脚本路径直接生成，不需要拷贝或者改命)。如果修改了这个文件就要修改detectron2/configs/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml中的。
Detectron2训练自己数据集及解决bug:KeyError: Dataset ‘m‘ is not registered! Available datasets are...
qq_44442727的博客
10-31 1505
Detectron2是一个用的比较广泛的目标检测和分割的深度学习框架，最近在电脑上配置环境后就准备跑一下，发现上手没那么方便，官方教程也不清晰，还得自己摸索，所以暂记一下个人成功训练的方法以及遇见的bug解决。要看bug解决，直接跳到文末。
detectron2包含哪些目标检测模型
weixin_42613360的博客
02-11 211
Detectron2 包含多种目标检测模型，如： Faster R-CNN Mask R-CNN RetinaNet FPN (Feature Pyramid Network) C5/C4 Feature Network 此外，还包含了 DensePose、Panoptic FPN 等预训练模型。 ...
detectron2训练自己的数据实现目标检测和关键点检测(三) 修改配置文件和代码开始训练
weixin_43056275的博客
07-30 5442
detectron2训练自己的数据实现目标检测和关键点检测——修改配置文件和代码开始训练1. 配置2. 修改配置文件2.1 修改yaml文件2.2 注释mask的代码 1. 配置 基本配置 版本号 CPU Intel® Core™ i5-8400 CPU @ 2.80GHz × 6 GPU GeForce RTX 2070 SUPER/PCIe/SSE2 OS Ubuntu18.04 python 3.6.9 gcc 5.5 g++ 5.5 cuda 10.0 p
detectron2训练自己的数据集_CornerNet-Lite训练自己的数据集
weixin_39661353的博客
11-27 251
CornerNet-Lite: Efficient Keypoint Based Object DetectionHei Law, Yun Teng, Olga Russakovsky, Jia DengarXiv:1904.08900Software RequirementPython 3.7PyTorch 1.0.0CUDA 10GCC 4.9.2 or above下载代码：git clone...
Detectron：训练自己的数据集——将自己的数据格式转换成COCO格式
热门推荐
地理信息系统、摄影测量与遥感、人工智能
06-28 4万+
Detectron系列： Detectron:assert len(cfg_list) % 2 == 0 AssertionError Detectron：用自己训练好的模型进行测试 1.前情提要 Fackbook的开源检测框架Detectron已开源了一段时间： https://github.com/facebookresearch/De...............
detectron2环境搭建及自定义coco数据集(voc转coco)训练
卟笑的博客
11-08 1135
因为pytorch训练自己的数据集，涉及到数据集的注册，元数据集注册和加载，过程比较麻烦，这里我参考官方样本，写了一个脚本trainsample.py放置于model_train文件夹下。划分完后对应的txt文件都有数据，后面将进行文件提取，提取出对应的训练/测试数据集及其xml文件。在detectron2下datasets中创建coco文件夹，将对应数据放入。首先有两个文件夹，一个为图像，一个为标注完的voc的xml文件夹。成功后对应文件夹下将会有对应txt下的图片及xml。2.PIL中缺少模块。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值