Mask-RCNN ICCV2017

已于 2022-04-08 20:42:13 修改
阅读量3k 收藏
点赞数
分类专栏： 实例分割 文章标签： 深度学习 计算机视觉
于 2021-11-21 17:31:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44176643/article/details/121456824
版权

Mask-RCNN ICCV2017

参考1
参考2
计算过程解读

创新点

Mask R-CNN是在Faster R-CNN的基础上添加了一个预测分割mask的分支。将RoI Pooling 层替换成了RoIAlign层；添加了并列的FCN层（mask层），输出每个ROI的mask。

在这里插入图片描述

  1. 使用ResNeXt-101+FPN用作特征提取网络，基础网络增强
  2. 采用 ROIAlign 替代 RoiPooling（改进池化操作）。引入了一个插值过程，先通过双线性插值到14 * 14，再 pooling到 7 * 7。说白了就是对 feature map 的插值，直接的ROIPooling的那种量化操作会使得得到的mask与实际物体位置有一个微小偏移
  3. 分割 loss 的改进，由原来的 FCIS 的 基于单像素softmax的多项式交叉熵变为了基于单像素sigmod二值交叉熵

作者对网络中涉及特征图尺寸变化的环节都不使用取整操作，而是通过双线性差值填补非整数位置的像素。这使得下游特征图向上游映射时没有位置误差，不仅提升了目标检测效果，还使得算法能满足语义分割任务的精度要求

RoiPool和RoiAlign

二者目的都是在输出特征图提取上该ROI坐标所对应的特征

ROI Pool的输入是ROI的坐标和某一层的输出特征，在Faster R-CNN中，由于最后的全连接层的输入要求size统一，但是RPN网络生成的ROI尺寸大小是不一致的，因此有一个ROI Pool层用于将不同size的ROI处理成统一size的7x7输出，然后才作为全连接层的输入。

  • RPN网络会提出若干RoI的坐标以[x,y,w,h]表示，然后输入RoI Pooling变成7x7，但是， 如果ROI网络输出的RoI大小是8*8的，那么无法保证输入像素和输出像素是一一对应，这样输入和输出的ROI像素点的位置对应关系不能保证一致，不能用于分割。

举个例子：

  • 输入800x800的图像，假定在提取特征时，有五个池化，每次都是2，最终获得feature map的大小为800/32 x 800/32 = 25x25。
  • 图像中的一个object的BB大小是665x665，将狗的BB对应到feature map上面，我们得到的结果是665/32 x 665/32 = 20.78 x 20.78，结果是浮点数，含有小数，进行量化操作（取整），变成20x20.
  • 接下来是将含有上面这个object的ROI转化成固定的7x7的ROI feature， 20 /7 x 20/7 = 2.86 x 2.86，需要第二次量化操作，变成2x2。

ROIAlign 则不进行量化操作。就用浮点数的坐标&#x

最低0.47元/天 解锁文章
菜鸟中的菜中菜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mask_R-CNN ICCV会议论文
04-03
ICCV 2017 会议获奖论文，作者是近几年新升的学术新星何凯明博士
2017-ICCV-Mask R-CNN
RhineYu's Blog
03-21 1205
本周组会讲Mask R-CNN，借此机会把目标检测R-CNN系列的论文都整理了一遍，除了paper外，主要参考网上的一些博客，如有侵权，请告知，在此十分感谢。 文中如有错误，请积极指出，一起学习，共同进步。 相关论文链接： R-CNN→→\rightarrowSPP Net→→\rightarrowFast R-CNN→→\rightarrowFaster R-CNN→→\rightarro...
Mask R-CNN（ICCV2017 best paper）
qq_42191914的博客
03-26 383
（关于Mask R-CNN的简介） 论文：https://arxiv.org/abs/1703.06870 github：https://github.com/facebookresearch/detectron2 推荐解析： 简介：https://blog.csdn.net/u014380165/article/details/81878644 详解：https://blog.csdn.net...
ICCV2017(Instance Segmentation)：Mask R-CNN-论文解读《Mask R-CNN》
要相信光
08-26 695
文章目录原文地址论文阅读方法初识（Abstract & Introduction & Conclusion）相识（Body）2. Related Work3. Mask R-CNN3.1 Implementation Details4. Experiments: Instance Segmentation5. Mask R-CNN for Human Pose Estimation回顾（Review）参考代码 原文地址 https://arxiv.org/pdf/1703.06870v3.p
(八)Mask Rcnn----2017ICCV论文解读
chenbo的博客
01-31 1195
Mask R-CNN Abstract 我们为对象实例分割提供了一个概念上简单，灵活且通用的框架。我们的方法有效地检测图像中的对象，同时为每个实例生成高质量的分割蒙版。**该方法称为“Mask R-CNN”，它通过与现有的用于边界框识别的分支并行添加一个用于预测对象遮罩的分支，从而扩展了Faster R-CNN。**掩码R-CNN易于训练，并且以5 fps的速度运行时，对Faster R-CNN的...
ICCV2017 Person Re-Id
02-11
【ICCV2017 Person Re-Id】是2017年国际计算机视觉大会（International Conference on Computer Vision）上关于行人重识别（Person Re-Identification，简称Re-ID）研究的重要资源集合。行人重识别是一个计算机视觉...
深度学习三维重建 SurfaceNet-ICCV-2017（源码+原文）
最新发布
08-21
深度学习三维重建 SurfaceNet——ICCV-2017（源码+原文） 深度学习三维重建 SurfaceNet——ICCV-2017（源码+原文） 深度学习三维重建 SurfaceNet——ICCV-2017（源码+原文） 深度学习三维重建 SurfaceNet——ICCV-...
去卷积源代码matlab-ICCV2017_RevisitCCIT_code:ICCV2017论文RevisitCrossChannelTra
06-17
(ICCV 2017) 该存储库包含由 Tiancheng Sun、Yifan Peng 和 Wolfgang Heidrich 撰写的 ICCV 2017 论文“Revisiting Cross-channel Information Transfer for Chromatic Aberration Correction”的代码。 入门 我们...
ICCV2017 (6).zip
10-09
ICCV2017是国际计算机视觉大会(International Conference on Computer Vision)的第6次盛会，这个顶级学术会议每隔两年举办一次，集中展示了全球在计算机视觉领域的最新研究成果和技术进展。从提供的压缩包文件名来看...
fasterrcnn论文_【ICCV2017最佳论文】MaskRCNN原理
weixin_39977776的博客
11-22 292
论文地址：http://arxiv.org/abs/1703.06870RCNN：对输入图像分割区域建议，在用卷积层独立地提取特征，使用SVM对每个特征进行分类+边界框回归。FastRCNN：RCNN+首先在整个图像上进行卷积操作，然后将该操作结果应用到ROIPooling层。FasterRCNN：FastRCNN+RPN+与网络分享卷积权重。MaskRCNN：FasterRCNN+FC...
论文阅读：《Mask R-CNN》ICCV2017
青青韶华
10-23 4718
概述Mask R-CNN是用于目标检测分割的框架，即对一张图片，既输出图片中已有的目标，还能为每一个实例生成一个高质量的分割掩码。一句话概括object instance segmentation = object detection + semantic segmentation。特点 1.mask R-CNN是在faster R-CNN的基础上，在每一个RoI都增加一个预测分割的 mask，
MaskRCNN-ICCV2017 论文解读
ZeroZone零域的博客
11-10 7290
文章: MaskRCNN 作者: Kaiming He, Georgia Gkioxari, Piotr Dollar, Ross Girshick 备注: FAIR, ICCV best paper 核心亮点 1) 提出了一个简单,灵活,通用的实例分割模型框架 MaskRCNN 在 FasterRCNN 的基础上进行改进, 在模型的head部分引入了一个新的mask预测分支, 在训练阶段, 该分...
文本生成中的 mask CrossEntropy -Tensorflow
weixin_48354103的博客
06-10 1108
文本生成中的真实标签为 index，shape = [n_batch,] 输出的为概率分布，shape = [n_batch, num_decoder_tokens] 计算 loss 时应 mask 序列 padding部分 Example: sess = tf.Session() y_label_onehot = tf.convert_to_tensor([[1, 0, 0, 0], [0, 0, 1, 0]], dtype=tf.int64) y_label = tf.argmax(y_label_o
Mask-RCNN 算法及其实现详解
shuwu
04-21 2680
https://blog.csdn.net/remanented/article/details/79564045 写在前面：经过了10多天对RCNN家族的目标检测算法的探究，从一个小白到了入门阶段，觉得有必要记录下这些天学习的知识，如有理解的不到位的地方，还望各位大佬指教。文章代码量比较大，详细的看可能需要一段的时间，等毕设开题答辩完了之后有时间我再修改修改，望谅解。 MASK RCNN 算...
Mask R-CNN原理详细解读
热门推荐
echo_hao的博客
03-27 7万+
Mask R-CNN是在Faster R-CNN的基础上添加了一个预测分割mask的分支，如上图所示。其中黑色部分为原来的Faster-RCNN，红色部分为在Faster-RCNN网络上的修改。将RoI Pooling 层替换成了RoIAlign层；添加了并列的FCN层（mask层）。 一、RoIAlign 首先介绍一下RoIPooling，它的目的是为了从RPN网络确定的ROI中导出较小...
目标检测系列文章之Mask R-CNN【2017】
qq_40662074的博客
04-07 424
Mask R-CNN基本思想创新点网络结构训练细节重要结论 英文原文链接: link. 前言：KaimingHe组2017年发表的经典paper《Mask R-CNN》 基本思想 Mask R-CNN在faster R-CNN的基础上添加了平行于原来分类分支的像素级实例分割分支，最终实现了目标识别和实例分割，结构如下： 8-GPU服务器训练两天 创新点 1 原来的【ssp-net变形的RoIPoo...
语义分割—交叉熵损失函数
xuyunyunaixuexi的博客
11-18 4120
from dataloaders import utils criterion = utils.cross_entropy2d import torch.nn as nn def cross_entropy2d(logit, target, ignore_index=255, weight=None, size_average=True, batch_average=True): n...
rcnn 回归_Fast_RCNN解读
weixin_39551462的博客
12-07 252
Fast_RCNN： Proceedings of the IEEE International Conference on Computer Vision. 2015.RCNN存在的问题：1、一张图像上有大量的重叠框，所以这些候选框送入神经网络时候，提取特征会有冗余！ 2、训练的空间需求大。因为RCNN中，独立的分类器和回归器需要很多的特征作为训练。RCNN中提取候选框，提取特征和分类回归是分开...
《Mask R-CNN》-2017
Inuchiyo_china的博客
04-27 9741
《Mask R-CNN》 进行实例分割，就是要在每一个像素上都表示出来目标所属的具体类别。 完成类别检测，图像分割和特征点定位。 1、解决的问题：在时间上对faster rcnn进行了优化，并且提高准确度，最关键的是在像素级别进行特征点定位达到了将各个对象的边缘确定的效果。 上图是，faster rcnn的分割检测效果。下图是，mask rcnn的分割检测效果，可以明显看到，改进的地方
何凯明 ICCV2017教程：Mask R-CNN：视觉感知挑战与实例分割进展
何凯明在ICCV2017的教程不仅介绍了Mask R-CNN的技术细节，还阐述了它如何通过结合对称性原理，推动了计算机视觉领域在对象检测和实例分割方面的重大进步。这场教程对于理解和实践人工智能、计算机视觉和机器学习技术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值