Mask Scoring RCNN 训练自己的数据

最新推荐文章于 2024-08-12 08:38:53 发布
最新推荐文章于 2024-08-12 08:38:53 发布
阅读量4.3k 收藏 24
点赞数 4
分类专栏： PyTorch Python
原文链接：https://blog.csdn.net/linolzhang/article/details/97833354
版权
Python 同时被 2 个专栏收录
197 篇文章 1 订阅
订阅专栏
PyTorch
15 篇文章 1 订阅
订阅专栏

使用Mask Scoring RCNN 训练自己的数据

转载链接

本文主要参考上面链接，并做了一些细节调整，具体内容可以去看原博主的文章。

一、相关准备

1、相关资源
  1. 论文《Mask Scoring R-CNN：Path Aggregation Network for Instance Segmentation》(CVPR2019 oral)【论文地址 】
  2. mask scoring rcnn 代码地址【github】
  3. mask rcnn benchmark 代码地址【github】
2、安装环境
conda create --name maskrcnn_benchmark
source activate maskrcnn_benchmark
conda install ipython
pip install ninja yacs cython matplotlib pyqt5
conda install pytorch-nightly torchvision=0.2.1 cudatoolkit=9.0 -c pytorch

注：cuda 版本必须为9.0，torchvision 版本必须为0.2.1，否则会报错，具体可参考【github_issues】

3、安装cocoapi & apex
export INSTALL_DIR=$PWD
 
# install pycocotools
git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
python setup.py build_ext install
 
# install apex
cd $INSTALL_DIR
git clone https://github.com/NVIDIA/apex.git
cd apex
python setup.py install --cuda_ext --cpp_ext
4、编译模型代码
# install PyTorch Detection

cd $INSTALL_DIR
git clone https://github.com/zjhuang22/maskscoring_rcnn
cd maskscoring_rcnn
python setup.py build develop

二、训练自己的数据

1、数据准备

Mask Scoring RCNN 模型使用的是coco数据集标准，所以，可以把自己的数据集转换成coco数据集标准格式，网上有很多脚本可以完成转换工作，也可以参考原博文。
如果需要预训练模型，可以下载并放到maskscoring_rcnn目录下面
这里我使用的数据以及预训练模型的目录结构，如下：

├── maskscoring_rcnn
│   ├── datasets
│   │   └── annotations
│   │   │   ├── coco_mydata_train.json
│   │   │   ├── coco_mydata_test.json
│   │   └── coco_mydata_train
│   │   └── coco_mydata_test
│   │
│   ├── ImageNetPretrained
│   │   └── R-101.pkl
│   │   └── R-50.pkl
...

注: annotations:目录下面放的是数据的label信息，coco_mydata_xxx: 目录下放的是原始图像信息，ImageNetPretrained: 目录下放的是两个pkl格式的预训练模型。

2、修改相关参数
  1. 修改 maskscoring_rcnn/configs 目录下的配置文件:
    （1）添加预训练模型路径。
    （2）添加要训练的自己数据数据集

例如：选择其中的 e2e_ms_rcnn_R_50_FPN_1x.yaml训练脚本，修改如下：

MODEL:
  META_ARCHITECTURE: "GeneralizedRCNN"
  WEIGHT: "catalog://ImageNetPretrained/MSRA/R-50"
  PRETRAINED_MODELS: 'ImageNetPretrained'
DATASETS:
  TRAIN: ("coco_train_xxx",) # 1.设置训练验证集,名字可以随意起，和其他配置文件对应即可。
  TEST: ("coco_val_xxx",)
  1. 修改 maskscoring_rcnn/maskrcnn_benchmark/config 下的 paths_catalog.py 文件：
    （1）添加自己的数据集路径信息，在相应的代码段后面添加两行即可。
    DATASETS = {
        "coco_2014_train": ( "coco/train2014", "coco/annotations/instances_train2014.json",),
        "coco_2014_val": ("coco/val2014", "coco/annotations/instances_val2014.json"),
        "coco_2014_minival": ( "coco/val2014", "coco/annotations/instances_minival2014.json", ),
        "coco_2014_valminusminival": (
        "coco/val2014", "coco/annotations/instances_valminusminival2014.json", ),
        
        "coco_train_xxx": ("coco_mydata_train", "annotations/coco_mydata_train.json"),
        "coco_val_xxx": ("coco_mydata_test", "annotations/coco_mydata_test.json"),
    }
  1. 修改 maskscoring_rcnn/maskrcnn_benchmark/config 下的 defaults.py 配置文件：
    （1）这个主要修改训练模型的相关参数，例如 分类数、学习率、check point数量、batch、最后模型保存路径等
_C.MODEL.ROI_BOX_HEAD.NUM_CLASSES = 3 # 1.修改分类数量，coco对应81（80+1）
 
_C.SOLVER.BASE_LR = 0.0005   # 2.修改学习率，默认为0.001
_C.SOLVER.CHECKPOINT_PERIOD = 1000  # 3.修改check point数量，根据需要自定义
_C.SOLVER.IMS_PER_BATCH = 4   # 4.修改batch size，默认16
 
_C.TEST.IMS_PER_BATCH = 4   # 5.修改test batch size，默认8
 
_C.OUTPUT_DIR = "weights/"   # 6.设置模型保存路径（对应自定义文件夹）
  1. 开始训练：
python tools/train_net.py --config-file configs/e2e_ms_rcnn_R_50_FPN_1x.yaml
python tools/test_net.py --config-file configs/e2e_ms_rcnn_R_50_FPN_1x.yaml

训练日志：

2019-10-24 21:02:12,782 maskrcnn_benchmark.trainer INFO: eta: 1:44:55  iter: 640  loss: 0.0682 (0.2568)  loss_classifier: 0.0255 (0.0699)  loss_box_reg: 0.0103 (0.0365)  loss_mask: 0.0294 (0.1299)  loss_maskiou: 0.0006 (0.0072)  loss_objectness: 0.0033 (0.0112)  loss_rpn_box_reg: 0.0004 (0.0021)  time: 0.7591 (0.7531)  data: 0.0158 (0.0160)  lr: 0.020000  max mem: 3857
2019-10-24 21:02:27,324 maskrcnn_benchmark.trainer INFO: eta: 1:44:34  iter: 660  loss: 0.0639 (0.2511)  loss_classifier: 0.0178 (0.0684)  loss_box_reg: 0.0073 (0.0356)  loss_mask: 0.0301 (0.1270)  loss_maskiou: 0.0006 (0.0070)  loss_objectness: 0.0013 (0.0109)  loss_rpn_box_reg: 0.0005 (0.0021)  time: 0.7410 (0.7523)  data: 0.0160 (0.0160)  lr: 0.020000  max mem: 3857
2019-10-24 21:02:42,145 maskrcnn_benchmark.trainer INFO: eta: 1:44:16  iter: 680  loss: 0.0539 (0.2454)  loss_classifier: 0.0166 (0.0670)  loss_box_reg: 0.0059 (0.0348)  loss_mask: 0.0282 (0.1241)  loss_maskiou: 0.0005 (0.0068)  loss_objectness: 0.0015 (0.0107)  loss_rpn_box_reg: 0.0003 (0.0020)  time: 0.7449 (0.7520)  data: 0.0153 (0.0159)  lr: 0.020000  max mem: 3857

注: 可能会遇到 maskrcnn_benchmark/utils/model_zool.py 错误，修改接口即可：

from torch.hub import _download_url_to_file
from torch.hub import urlparse
from torch.hub import HASH_REGEX

三、模型预测\推理

1、修改相关参数
  1. 修改maskscoring_rcnn/configs 路径下的对应的yaml文件的权重路径
MODEL:
  META_ARCHITECTURE: "GeneralizedRCNN"
  WEIGHT: "weights/model_0010000.pth"   # 训练好的模型路径
  BACKBONE:
    CONV_BODY: "R-50-FPN"
    OUT_CHANNELS: 256
  1. 修改maskscoring_rcnn/demo 路径下的 predictor.py 文件，添加类别信息。
    注意，这个文件应该不存在，可以在【mask rcnn benchmark 】的demo文件下复制过来即可。而且在运行的过程中，会报错找不到文件或者无法导入相关的库，可以从 mask rcnn benchmark 对应的文件夹内复制到，相应的文件夹内即可。
class COCODemo(object):
    # COCO categories for pretty print
    CATEGORIES = [
        "__background",
        "cla_a",
        "cla_b",
        "cla_c",
    ]
  1. 在maskscoring_rcnn/demo 下新建 predict.py，用于预测
#!/usr/bin/env python
# coding=UTF-8

import os, sys
import numpy as np
import cv2
from maskrcnn_benchmark.config import cfg
from predictor import COCODemo

# 1.修改后的配置文件
config_file = "configs/e2e_ms_rcnn_R_50_FPN_1x.yaml"

# 2.配置
cfg.merge_from_file(config_file) # merge配置文件
cfg.merge_from_list(["MODEL.MASK_ON", True]) # 打开mask开关
cfg.merge_from_list(["MODEL.DEVICE", "cuda"]) # or设置为CPU ["MODEL.DEVICE", "cpu"]
#cfg.merge_from_list(["MODEL.DEVICE", "cpu"])

coco_demo = COCODemo(
    cfg,
    min_image_size=800,
    confidence_threshold=0.5, # 3.设置置信度
)

if __name__ == '__main__':

    in_folder = '../datasets/test_images/'
    out_folder = '../datasets/test_images_out/'

    if not os.path.exists(out_folder):
        os.makedirs(out_folder)

    for file_name in os.listdir(in_folder):
        if not file_name.endswith(('jpg', 'png')):
            continue

        # load file
        img_path = os.path.join(in_folder, file_name)
        image = cv2.imread(img_path)

        # method1. 直接得到opencv图片结果
        #predictions = coco_demo.run_on_opencv_image(image)
        #save_path = os.path.join(out_folder, file_name)
        #cv2.imwrite(save_path, predictions)

        # method2. 获取预测结果
        predictions = coco_demo.compute_prediction(image)
        top_predictions = coco_demo.select_top_predictions(predictions)

        # draw
        img = coco_demo.overlay_boxes(image, top_predictions)
        img = coco_demo.overlay_mask(img, predictions)
        img = coco_demo.overlay_class_names(img, top_predictions)
        save_path = os.path.join(out_folder, file_name)
        cv2.imwrite(save_path, img)

        # print results
        boxes = top_predictions.bbox.numpy()
        labels = top_predictions.get_field("labels").numpy()  #label = labelList[np.argmax(scores)]
        scores = top_predictions.get_field("scores").numpy()
        masks = top_predictions.get_field("mask").numpy()

        for i in range(len(boxes)):
            print('box:', i, ' label:', labels[i])
            x1,y1,x2,y2 = [round(x) for x in boxes[i]] # = map(int, boxes[i])
            print('x1,y1,x2,y2:', x1,y1,x2,y2)
  1. 运行程序
CUDA_VISIBLE_DEVICES=0 python demo/predict.py

四、总结

在测试的过程中，使用了100多张自己标注的图片，训练10000次保存一次模型，在预测的过程出现resize错误、维度不统一等。估计是过拟合引起的，后来改成1000次保存一次模型，可以正常运行处结果。

GrowthDiary007
关注
专栏目录
用mask scoring RCNN训练自己的数据集
qq_39172959的博客
04-23 1820
近期使用mask scoring RCNN了训练自己的数据集，做一个记录，其中主要参考原作者github上的install.md文件以及几篇博客： https://blog.csdn.net/linolzhang/article/details/97833354 https://blog.csdn.net/XX_123_1_RJ/article/details/102733175 https://...
【实例分割系列：三】Mask Scoring R-CNN
鹿鹿的博客
09-23 1971
2019 CVPR Oral Mask Scoring R-CNN https://github.com/zjhuang22/maskscoring_rcnn [PyTorch] Mask Scoring R-CNNIntroductionMask RCNNNetworkMaskIoU head问题网络是如何训练的？网络是如何 inference ？References Introductio...
mask scoring rcnn训练自己的数据集
ljh_mm的博客
12-12 327
近期使用mask scoring RCNN了训练自己的数据集，做一个记录，主要参考一下几篇博客： https://blog.csdn.net/qq_39172959/article/details/105709077#commentBox https://blog.csdn.net/XX_123_1_RJ/article/details/102733175#commentBox https://blog.csdn.net/linolzhang/article/details/97833354#comment
探索更精确的实例分割：Mask Scoring R-CNN
最新发布
gitblog_00254的博客
08-12 425
探索更精确的实例分割：Mask Scoring R-CNN maskscoring_rcnnCodes for paper "Mask Scoring R-CNN".项目地址:https://gitcode.com/gh_mirrors/ma/maskscoring_rcnn Mask Scoring R-CNN（MS R-CNN）是一种创新的深度学习模型，由Zhaojin Huang, Lic...
maskscoring rcnn训练自己的数据集
ljh_mm的博客
04-01 162
参考链接 https://my.oschina.net/u/4314113/blog/3231032 https://www.pythonheidong.com/blog/article/343762/6886a21f6f81cfdab6c1/ https://blog.csdn.net/linolzhang/article/details/97833354 注意制作数据集时把训练和测试的json文件分别放在一个文件夹里，跟lableme2coco代码放在同一目录下再执行 ...
Mask Scoring RCNN
fh713nc的博客
09-28 410
Mask Scoring RCNN 做为CVPR2019的口头汇报论文， Mask Scoring RCNN 以更为合理的Mask打分机制成功击败了实例分割的经典网络 Mask RCNN Mask Scoring RCNN 是MaskRCNN两年后的改良版本，其创新点在于，增加了一个Mask IOU分支，通过计算mask分支得到的预测mask与ground truth对应的mask之间的像素级别的...
mask rcnn训练自己数据，下载更换数据集和路径即可使用
04-25
mask rcnn训练自己数据，下载更换数据集和路径即可使用 mask rcnn训练自己数据，下载更换数据集和路径即可使用 mask rcnn训练自己数据，下载更换数据集和路径即可使用
Mask Scoring RCNN训练自己的数据
跟随技术的脚步-linolzhang的专栏
07-30 5900
一. 代码准备 基于pytorch。 mask scoring rcnn 代码参考：【github】 mask rcnn benchmark 【github】 二. 环境安装 1. 基于conda创建pytorch环境： conda create -npytorch python=3.7.4 conda install ipython conda inst...
seresnet50训练自己的数据集_使用mask scoring RCNN训练自己的数据集
weixin_39730671的博客
12-18 683
本文主要参考下面两篇博文，并在部分细节处做了修改。一、数据集准备(训练集验证集测试集的数据分别准备)1、标注数据集大多数人会用labelme来标注数据集，然后用labelme将每张标注图片都生成一个json文件。labelme教程网上很多，这里不再赘述。本人由于原图的标注目标很小，用labelme标注未免不精确，所以先用PS手动标注后再写代码把标注图转换成了labelme格式的json文件。结果如...
Python-MaskScoringRCNN论文的实现代码
08-11
提供的`maskscoring_rcnn-master`代码库包含了Mask Scoring R-CNN的完整实现，基于Caffe2（现已被PyTorch吸收）和Detectron框架。以下是主要组成部分： - **配置文件**: 配置文件定义了网络结构、损失函数、训练...
[深度学习] Mask Scoring R-CNN论文阅读
小黑_BUPT的博客
10-02 882
Mask Scoring R-CNN Mask评分R-CNN CVPR 2019 oral paper 这篇论文中，作者提出了一种对Mask评分的新的方法，用于解决Mask RCNN中没有针对Mask进行评分从而影响实例分割的准确性这一问题。在Mask R-CNN模型中，在实例分割任务里，虽然输出结果是一个Mask，但打分却是和边界框目标检测（bounding-box object detec...
Detectron-maskrcnn 训练自己的数据集
10-31
Detectron-maskrcnn 训练自己的数据集 数据集为Labelme标注json格式
「Computer Vision」Note on Mask Scoring R-CNN
小锋子Shawn
03-04 587
QQ Group: 428014259 Tencent E-mail：403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/88138893 [1] Mask Scoring R-CNN 2019 [paper]
Mask Scoring R-CNN——源码运行记录
weixin_42272869的博客
10-28 655
Mask Scoring R-CNN——源码运行记录 最近在跑该模型，遇到了很多问题，github上给的东西不足以将这个模型给正常运行起来，所以在此记录一下 github源码地址 1、环境说明 各个版本的信息：ubuntu18.04.3 (linux服务器)+ CUDA9+torch1.0+torchvision0.2+python3.6.2 + gcc5 如果不知道各个东西的含义的，可以查看我的另外一篇博文：显卡，显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn pytho
Mask Scoring R-CNN
Acmer_future_victor的博客
04-15 2517
Mask Scoring R-CNN CVPR2019会议论文 主要任务不是实例分割，而是评估获得的实例分割的掩码的质量。文中提到，以前通常用分类类别的置信度来评估分割的掩码的质量，这是没有说服力的，从而提出了一种新的方法来评估预测的掩码质量。 Abstract 让深度网络意识到自己预测的质量是一个有趣但重要的问题。 在实例分割任务中，在大多数实例分割框架中，实例分类的置信度被用作掩码质量分数。 然而，被量化为实例掩码与其ground truth之间的 IoU 的掩码质量通常与分类分数没有很好的相关性。 在
【阅读笔记】《Mask Scoring R-CNN》（MaskRCNN）
ShuqiaoS的博客
04-10 2353
本文记录了博主阅读论文《Mask Scoring R-CNN》的笔记，代码。更新于2019.04.09。 文章目录AbstractIntroductionRelated WorkInstance SegmentationDetection Score CorrectionMethodMotivationMask scoring in Mask R-CNNExperimentsImplementat...
Mask Scoring R-CNN 论文学习
calvinpaean的博客
10-30 342
论文地址：https://arxiv.org/abs/1903.00241?context=cs 代码地址：[https:// github.com/zjhuang22/maskscoring_rcnn](https:// github.com/zjhuang22/maskscoring_rcnn) Abstract 让神经网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割任务中，大多数实...
《Mask Scoring R-CNN》论文翻译
w_xiaowen的博客
03-08 1564
摘要： 让深度网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割的任务中，实例分类的置信度被用作大多数实例分割框架中的掩模质量分数。然而，掩模质量（量化为实例掩模与其基础事实之间的IoU）通常与分类得分没有很好的相关性。在本文中，我们研究了这个问题，并提出了Mask Scoring R-CNN，它包含一个网络块来学习预测实例掩码的质量。所提出的网络块将实例特征和对应的预测掩模一起用于对掩模...
mask scoring rcnn可以应用在哪里
05-01
Mask Scoring R-CNN 是一种用于图像分割的深度学习模型，它可以应用在许多领域中，例如： 1.自动驾驶：Mask Scoring R-CNN 可以用于识别道路、车辆、行人和障碍物等，并对它们进行精确的分割和检测，从而提高自动驾驶汽车的安全性和性能。 2.医学影像：Mask Scoring R-CNN 可以用于医学影像分析，例如识别癌细胞、肿瘤和其他疾病的影像标记，并对它们进行精确的分割和检测，从而提高医疗诊断的准确性和效率。 3.机器人视觉：Mask Scoring R-CNN 可以用于机器人视觉应用，例如识别和分割物体、环境和场景等，并提供精确的定位和跟踪信息，从而帮助机器人实现更高效、更智能的操作。 总之，Mask Scoring R-CNN 的应用范围非常广泛，并且可以应用于任何需要精确图像分割和检测的领域。
评论 33
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值