Mask R-CNN论文笔记

已于 2022-11-25 13:22:07 修改
阅读量670 收藏 1
点赞数 2
分类专栏： 论文笔记 文章标签： 论文阅读
于 2022-10-29 17:15:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52038588/article/details/127589453
版权

Mask R-CNN

提出目的

基于全景分割，精细分割效果貌似不如UNet
实现目标实例语义分割（object instance segmentation）.

改进点（Faster RCNN）

  1. ROI Pooling->ROIAlign
  2. 在原来的faste rcnn 部分并联一个mask分支（FCN实现）
  3. 解耦分类和语义分割mask，mask分支负责生成mask，class分支就负责判断类别
  4. Mask R-CNN is based on an instance-first strategy

在这里插入图片描述

比较

  1. mask rcnn是一个小的应用在每个RoI上的FCN，生成分割蒙版（segmentation mask），独立分割，不再预测类别。
  2. 经典语义分割目标是将每个像素分类到一个固定的类别集合中，而不区分对象实例，先分割出来再预测类别。
  3. 经典目标检测目标是分类并用bounding box定位。

GAP 和FCN

  1. 两个作用差不多，减少参数，起到FC作用。FCNpadding可调。
  2. FCN做语义分割会在最后加上一层转置卷积，上采样变成原图大小。
  3. FCN卷积操作和全连接相乘再相加操作一样，可以把FC里每一个节点的权重reshape后当作conv的一个卷积核的参数。
  4. 现在在代替FC方面GAP用来替代FCN，因为FCN参数过大。

优点

  1. 并联结构独立预测更快
  2. 用了RoIAlign更准

RoIAlign

注意：RoI在原图上

roi pooling过程：
  1. 原图的候选框映射到feature map上，例如665* 665 映射到feature map25* 25上为665/32=20.78，取整为20，这是第一次量化
  2. 如果pooling输出为7*7，那么会把上面映射的feature划分成49个同等大小的bin，每个bin大小为20/7=2.86，取整后为2，这是第二次量化
  3. 每个bin里取最大，max poolng，得到7*7大小的feature map
roialign过程：

由于上述roi pooling过程的两次量化（取整操作）会造成misalignment，为了做精细的语义分割，roialign实现了pixel-to-pixel alignment，没有取整操作。

在这里插入图片描述

下图align输出为2* 2，和我解释的7*7不一样：

在这里插入图片描述

  1. 原图的RoI映射到feature map上不取整（Figure 3中align输出为2* 2），假设还是665/32=20.78，保留浮点数
  2. 直接将映射的feature map分割为7* 7大小（align输出大小）的feature map，划分成几个同等大小的区域
  3. 文章中采样点数为4，表示对每个bin，平分四份，取中心点位置（红叉），中心点的像素采用双线性插值法计算（中心和其所在的feature方格的四个顶点，左上角顶点才是方格的值对应的点），一个bin得到四个值（左上角）
  4. 每个bin分别取max作为其值，得到最终输出。

对于有较多小物体的图片使用RoIAlign会更加精确。

关于最终的采样结果对采样点的位置，以及采样点的个数并不敏感。

单线性插值

已知数据 (x0, y0) 与 (x1, y1)，要计算 [x0, x1] 区间内某一位置 x 在直线上的y值。

这里写图片描述

这里写图片描述

双线性插值

有两个方向和对应的值

在两个方向分别进行一次单线性插值

这里写图片描述

我们想得到未知函数 f 在点 P = (x, y) 的值

已知函数 f 在 Q11 = (x1, y1)、Q12 = (x1, y2), Q21 = (x2, y1) 以及 Q22 = (x2, y2) 四个点的值

首先在 x 方向进行线性插值

这里写图片描述

然后在 y 方向进行线性插值

这里写图片描述

mask分支

在这里插入图片描述

上图是针对不同backbone mask分支的结构。右边灰色部分忽略了几个卷积层。和class的RoIAlign输出大小不一样。

在这里插入图片描述

X4：3*3，s1,p1

输入：

Roi在Feature map上的映射图

实现：

FCN（？），最后做转置卷积上采样，最后对256个通道做一次1* 1卷积得到28* 28*numcls大小的masks，最后根据fast rcnn分支给出的类别拿出对应的mask。

原本是class

输出：

mask

LOSS：L = Lcls + Lbox + Lmask

Lmask is only defined on the k-th mask (other mask outputs do not contribute to the loss).

Mask RCNN总体架构

img

消融实验

Backbone Architecture:resnet 50、101、resnet 50-fpn、resnet 101-fpn、resnext-101-fpn最终resnext-101-fpn效果最好，AP均高于其他几个backbone6-1个点。

多任务/独立mask：独立的强。

RoIAlign(ResNet-50-C4)，RoIAlign (ResNet-50-C5, stride 32) 都优于于roipooling 。

Mask Branch (ResNet-50-FPN) FCNs improve results as they take advantage of explicitly encoding spatial layout.MLP稍微落后AP1-2个点。

后面还做了迁移，用于人体姿态检测。

B1CK
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
《Mask R-CNN》论文笔记
m_buddy的博客
01-27 558
1. 概述 论文提出了一个概念简单且灵活通用的实例分割框架Mask R-CNN。该方法可以有效检测出图像中的目标并同时对每个实例生成高质量分割mask。该方法是在Faster R-CNN的结构基础上，添加与现存边界框回归、目标分类分支平行的预测目标mask的分支（在ROI的基础上进行预测），速度为5FPS（200ms/per），论文提出的网络方法可以迁移到其它的任务中去，例如实例分割、目标检测和关...
Mask R-CNN 论文笔记
qq_30146937的博客
02-16 383
前言 目标检测（object detection）是识别目标属于哪个类别并用边界框对每个目标进行定位，也就是把它们“框”起来。如下图（b）所示。 语义分割（semantic segmentation）是对每个像素进行分类，而不考虑目标实例。如下图（c）所示。 实例分割（instance segmentation）需要先将目标正确地检测出来，然后对每个目标进行精细地分割。如下图（d）所示。它和语义...
Mask R-CNN预训练权重
05-26
Mask R-CNN数据标注和模型训练 教程：https://yidamyth.blog.csdn.net/article/details/124851003 使用Mask R-CNN标注自定义数据集，训练自己的模型。 本资源是教程中所需要加载的预训练模型，提供一个便捷的下载链接，大家也可以去噼里啪啦教程中给定的链接进行下载。 详细标注过程，及模型训练见教程。
基于 Mask R-CNN 及 Yolov4 的电力巡检中绝缘子缺陷研究
03-26
摘要 输电线路是国家电力系统中负责电能输送的一个重要的组成部分。架空输电 线路长期经历着电闪雷击、风吹日晒、污秽、雨雪及沉陷等外界环境的侵害。目 前传统的电力巡检仍是人工巡检，新型技术利用无人机搭载高分辨摄像机，近距 离拍摄线路及其关键部件获取航拍图像来代替人工巡检。其中，航拍图像中输电 线路部件的识别及缺陷检测是关键技术也是技术难点。本文提出一种利用 Mask R-CNN 技术提取绝缘子串珠的掩膜图像、采用 Yolo-v3 和 Yolo-v4 进行对照，通 过神经网络模型对其绝缘子自爆区域进行特征提取，特征判断，识别定位。具体 流程如下：针对问题一中绝缘子串珠分割，本文根据不同绝缘子类型进行图像类别划 分，通过图像分割优化模型对小目标进行数据集制作。采用 Mask R-CNN 为框架 构建了深度学习算法，并以算法为核心搭建了绝缘子串图像检测平台。最后选取 数据集 80%进行模型训练，20%进行测试，使用极大值抑制算法，得出最佳先验 框（best_anchor），对经过模型得出的绝缘子掩模图与官方的绝缘子掩模图进行 计算，求出评价模型的 Dice 系数为 0.83
Mask R-CNN
01-06
一、前言 本文提出了一个概念上简单且灵活通用的目标分割框架——Mask R-CNN Mask R-CNN能有效地检测图像中的目标，同时能为每个实例生成高质量的分割掩码 Mask R-CNN训练简单，相对于Faster R-CNN，只需增加一个较小的开销，运行速度可达5 FPS，且很容易推广到其他任务中 二、模型与方法 2.1 设计思路 由于Fast/Faster R-CNN和FCN的出现，使得目标检测和语义分割的效果在短时间得到了很大改善 目标分割它需要正确检测图像中的所有目标，同时也要精确地分割每个目标 目标检测的目的是对目标进行分类，并使用边界框定位每个目标，既是语义分割，又是另一种形式的
mask R-CNN论文
03-26
神经网络；CNN；R-CNN
Mask R-CNN 原理文档
04-25
Mask R-CNN 原理文档 《Instance segmentation with Mask R-CNN》
论文笔记：Mask R-CNN
欢迎来到我的酒馆
04-14 4686
Kaiming He 新作，貌似投iccv？ 论文地址： https://arxiv.org/abs/1703.06870目标设计一个很棒的实例分割网络 Our goal in this work is to develop a comparably enabling framework for instance segmentation. 实例分割难点不仅仅要找出物体，还要语义分割 It
【论文】Mask R-CNN
yeler082的博客
04-17 3191
论文地址：Mask R-CNN论文源码：R-CNNCaffe版本：rbgirshick/rcnnFast R-CNNCaffe版本： rbgirshick/fast-rcnn Faster R-CNNCaffe版本: https://github.com/rbgirshick/py-faster-rcnn PyTorch版本: https://github.com/longcw/faster_rc...
MASK R-CNN 笔记
zjl-wgf
03-28 1351
待续。。。。。。。。。。
深度学习目标检测 经典论文 RCNN～Mask-RCNN～YOLOv2
06-03
该资源包含了近些年经典的基于深度学习的目标检测论文，有RCNN、Fast-RCNN、Faster-RCNN、Mask-RCNN以及YOLO系列
【深度学习】Mask-RCNN 计算机视觉实例分割模型介绍 Mask分支
q742971636的博客
04-16 3616
Mask-RCNN模型= Faster RCNN模型（RoI pooling 更换为 RoIAligh） + Mask分支 提供了两种head结构，最常用的还是右边的FPN结构的：
Mask RCNN网络源码解读（Ⅶ） --- Mask分支解析以及将其映射回原尺度----完结撒花
qq_41694024的博客
01-10 1482
本篇博客将讲述如何利用之前实现好的Faster R-CNN算法实现Mask R-CNN。
目标检测（Object detection）—— Mask RCNN
weixin_42075898的博客
11-05 1293
基于tensorflow实现的Mask RCNN源码 对上面源码的解读 1 概述 Mask RCNN实际上是个实例分割算法（instance segmentation），这里对它进行介绍的原因是Mask RCNN与faster RCNN算法密不可分，只是在faster RCNN的分类支路、边框回归支路之外，增加了一个实例分割支路。改动虽然简单，但是Mask RCNN实例分割的效果非常出众，令人...
Mask R-CNN论文
weixin_43066351的博客
08-04 5655
目录摘要引言 摘要 我们为对象实例分割提供了一个概念上简单，灵活且通用的框架。我们的方法有效地检测了图像中的对象，同时为每个实例生成高质量的分割蒙版。该方法称为“Mask R-CNN”，通过与现有的用于边界框识别的分支并行添加一个用于预测对象遮罩的分支，扩展了Faster R-CNN。 Mask R-CNN易于训练并且只在Faster R-CNN添加了很小的开销，并以 5 fpts 的速度运行。此外， Mask R-CNN容易推广到其他其他任务，例如，允许我们在同一框架中估计人体姿态。我们在COCO挑战套件
【图像分割】Fully Convolutional Networks for Semantic Segmentation
热门推荐
shenxiaolu1984的专栏
05-11 1万+
全卷积网络用于图像语义分割，2015 CVPR Oral，算法详解。
mask rcnn论文阅读
xie_qiuqiu的博客
06-30 813
1. Introduction在faster rcnn后面加一个预测物体mask的分支平行于bbox regression的分支。可以在此基础上加其他任务比如姿态估计本来有物体检测object detection和物体分割senabtic segmentation，现在结合起来是instance segmantation，既每个个体都能mask分开（原来是一个类一个颜色）.结合的faster rc...
Mask-Rcnn论文阅读
qq_43173239的博客
03-18 426
Mask R-CNN 文章目录Mask R-CNN前言一、论文翻译1. 简介2. 相关工作3. Mask R-CNN4. 实现细节实验：目标分割主要结果消融实验目标检测结果速度二、代码阅读总结 前言 记录mask-rcnn论文的阅读笔记或者补充资料。 一、论文翻译 摘要：我们提出了一个概念上简单，灵活和通用的目标实例分割框架。我们的方法可以有效地检测图像中的目标，同时为每个实例生成高质量的分割掩码。称为Mask R-CNN的方法通过添加一个与现有目标检测框回归并行的，用于预测目标掩码的分支来扩展Fas
cascade mask r-cnn代码
最新发布
03-18
Cascade Mask R-CNN是一种用于实例分割任务的深度学习模型，它是基于Mask R-CNN的改进版本。Cascade Mask R-CNN通过级联多个Mask R-CNN模型来逐步提升实例分割的性能。 Cascade Mask R-CNN的代码实现可以在GitHub上...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值