Faster R-CNN、Mask R-CNN和Keypoint R-CNN概况

最新推荐文章于 2024-09-12 07:46:31 发布
最新推荐文章于 2024-09-12 07:46:31 发布
阅读量935 收藏 18
点赞数 22
分类专栏： 深度学习基础 文章标签： cnn 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fydw_715/article/details/140651890
版权

Faster R-CNN、Mask R-CNN和Keypoint R-CNN

Faster R-CNN是用于对象检测的模型，Mask R-CNN在其基础上增加了实例分割功能，而Keypoint R-CNN进一步扩展Mask R-CNN以实现关键点检测和姿态估计。

Faster R-CNN

Faster R-CNN（Region Convolutional Neural Network的简称）是一个用于对象检测的深度学习模型，其目的是在图像中定位并识别多个对象。Faster R-CNN是基于R-CNN和Fast R-CNN的改进，最大的进步在于引入了Region Proposal Network (RPN)，实现了端到端的目标检测。

主要组成部分：

  1. 卷积特征提取：使用卷积神经网络（通常使用VGG、ResNet等）提取图像特征。
  2. Region Proposal Network (RPN)：一个轻量级网络在特征图上滑动，输出一系列的候选区域（region proposals）。这些区域有可能包含对象。
  3. RoI Pooling：将RPN生成的候选区域映射回原始图像尺度，并使用RoI Pooling（Region of Interest Pooling）将每个候选区域变成固定大小的特征图。
  4. 分类和回归：最后一个部分由全连接神经网络组成，用于对每个固定大小的特征图进行分类，并进行边框回归以获得精准的检测结果。

论文信息：

  • 论文标题: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
  • 主要作者: Shaoqing Ren, Kaiming He, Ross B. Girshick, Jian Sun
  • 会议: Advances in Neural Information Processing Systems (NeurIPS) 2015
  • 链接: Faster R-CNN 论文

开源实现：

  1. Detectron2

  2. mmdetection

  3. Simple Faster R-CNN PyTorch

具有代表性的数据集

  1. PASCAL VOC

    • 描述: 包含20类常见对象的注释和图片。
    • 链接: PASCAL VOC

  2. COCO (Common Objects in Context)

    • 描述: 大规模对象检测、分割和关键点检测数据集，包含80类对象。
    • 链接: COCO

  3. ImageNet (用于对象检测)

    • 描述: 包含广泛的类别，适用于大规模对象检测任务。
    • 链接: ImageNet

Mask R-CNN

Mask R-CNN在Faster R-CNN的基础上进行了扩展，增加了一个分支来预测对象的二值掩码（mask）。这使得Mask R-CNN不仅能进行对象检测，还能进行实例分割，即在图像中精确地分割出每个对象的轮廓。

主要组成部分：

  1. 卷积特征提取：与Faster R-CNN相同，使用卷积神经网络提取图像特征。
  2. RPN网络：生成候选区域。
  3. RoIAlign：改进了Faster R-CNN中的RoI Pooling，用于更精确地对齐特征图。RoIAlign通过消除了量化误差，提高了分割的精度。
  4. 分类和回归：用于对每个RoI进行分类和边框回归。
  5. 掩码分支：一个平行于分类和回归的卷积网络，用来预测每个RoI的掩码。它对每个候选区域生成一个由0和1组成的掩码，其中1表示对象部分，0表示背景部分。

论文信息：

  • 论文标题: Mask R-CNN
  • 主要作者: Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross B. Girshick
  • 会议: International Conference on Computer Vision (ICCV) 2017
  • 链接: Mask R-CNN 论文

开源实现：

  1. Detectron2

  2. Mask R-CNN (Matterport)

  3. mmdetection

具有代表性的数据集

  1. COCO (Common Objects in Context)

    • 描述: 包含实例分割标注。
    • 链接: COCO

  2. Cityscapes

    • 描述: 专注于城市街景中对象的细粒度分割数据集。
    • 链接: Cityscapes

  3. LVIS (Large Vocabulary Instance Segmentation)

    • 描述: 包含更多类别和更详细的实例分割注释。
    • 链接: LVIS

Keypoint R-CNN

Keypoint R-CNN是基于Mask R-CNN的扩展，用于人体姿态估计（Pose Estimation）。它不仅可以检测并分割对象，还可以预测对象的关键点（keypoints）。

主要组成部分：

  1. 卷积特征提取：提取图像特征。
  2. RPN网络：生成候选区域。
  3. RoIAlign：用于对齐特征图。
  4. 分类和回归：对每个RoI进行分类和边框回归。
  5. 掩码分支：用于对象分割。
  6. 关键点分支：一个平行的卷积网络，用于预测对象的关键点位置（例如，人体的关节点如肩膀、肘部、膝盖等）。

论文信息：

  • 论文标题: Mask R-CNN
  • 主要作者: Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross B. Girshick
  • 会议: International Conference on Computer Vision (ICCV) 2017
  • 链接: Mask R-CNN 论文

开源实现：

  1. Detectron2

  2. mmdetection

  3. tf-pose-estimation

具有代表性的数据集

  1. COCO Keypoints

    • 描述: 包含人体姿态关键点标注。
    • 链接: COCO

  2. MPII Human Pose

    • 描述: 专注于人体姿态估计的标注数据集，包含丰富的运动和日常活动场景。
    • 链接: MPII Human Pose

  3. AI Challenger Keypoint

    • 描述: 用于姿态估计的国际竞赛数据集，包含大规模的关键点标注。
    • 链接: AI Challenger Keypoint

总结

  • Faster R-CNN：用于对象检测，通过引入RPN实现了端到端的检测流程。
  • Mask R-CNN：在Faster R-CNN的基础上增加了实例分割功能，通过增加掩码分支进行对象精细分割。
  • Keypoint R-CNN：在Mask R-CNN的基础上增加了关键点检测功能，可以用于姿态估计等任务。

这些网络在计算机视觉领域中具有广泛应用，尤其在自动驾驶、安防监控、医学影像分析等方面效果显著。希望这些信息对你有所帮助！

fydw_715
关注
专栏目录
对象识别与关键点检测：SSD与KeypointRCNN
AI天才研究院
02-03 894
1.背景介绍 对象识别与关键点检测：SSD与KeypointR-CNN 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1. 什么是目标识别？ 目标
Pytorch快速入门系列---（十九）Pytorch实现R-CNN系列目标检测网络
qq_42681787的博客
04-14 2780
在PyTorch提供的已经训练好的图像目标检测中,均是R-CNN系列的网络，并且针对目标检测和人体关键点检测分别提供了容易调用的方法。
PyTorch中的Keypoint R-CNN训练教程
最新发布
gitblog_00055的博客
09-12 294
PyTorch中的Keypoint R-CNN训练教程 keypoint_rcnn_training_pytorch How to Train a Custom Keypoint Detection Model with PyTorch (Article on Medium) ...
torchvision使用keypoint rcnn 进行人体关键点定位
不解不惑
07-07 1907
torchvision使用keypoint rcnn 进行人体关键点定位
MaskRCNN-Keypoints
weixin_34255055的博客
12-19 466
这个月先写一篇吧，后面要复习数学考试了，可能到时候就忘了。今天写一个比较有意思的东西，关于人体的分割与姿态估计。如下图所示： 图片选自mask rcnn的论文，这里由于时间的关系，就不多叙述技术细节了，网上有很多关于mask rcnn的博客，这里的keypoints是在mask rcnn上又添加了一个keypoints分支，总的模型结构图就变成如下形式了 展示一下具体效果： 我建了一个repo...
KeyPoint of 《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》
学习专栏，期待交流与成长
02-09 2124
《Faster R-CNN》是2015年由Ross Girshick 提出来的一篇爆炸性文章。其中的目标框产生网络（rpn）突破了前面一系列的产生目标框方法与检测网络相分离的旧模式，且首次在一个网路中整合了rp和detection。虽然后面的YOLO和SSD均取得更好的检测效果，但是其创造性的rpn思想是值得学习的。
深度学习（十八）基于R-CNN的物体检测
热门推荐
hjimce的专栏
12-05 9万+
本篇博文主要讲解2014年CVPR上的经典paper：《Region-based Convolutional Networks for Accurate Object Detection and Segmentation》，这篇文章的算法又被称之为：R-CNN，是物体检测领域曾经获得state-of-art的精度的经典文献，引用率非常高。所以如果你搞物体检测方面，肯定会接触到这个算法。 这篇paper的思想，改变了物体检测的总思路，现在好多文献关于深度学习的物体检测的算法，基本上都是采用了同样的思想，
Mask R-CNN详解
kk123k的博客
01-22 3053
  一、Mask R-CNN网络介绍 Mask R-CNN是何凯明2017年提出的一个实例分割（Instance segmentation）算法，可以用来做“目标检测”、“目标实例分割”、“目标关键点检测”。，是ICCV2017的best paper。 Mask R-CNN网络的设计比较简单，①在Faster R-CNN的基础上，在原本的两个分支上（分类+坐标回归）增加一个简单的完全卷积网络...
卷积神经网络——实例分割之Mask R-CNN论文翻译
itlilyer的博客
09-29 4636
论文链接 https://arxiv.org/abs/1703.06870 相关论文翻译链接 R-CNN：https://blog.csdn.net/itlilyer/article/details/107190083 Fast R-CNN：https://blog.csdn.net/itlilyer/article/details/107764472 Faster R-CNN：https://blog.csdn.net/itlilyer/article/details/108049850 Mask R-C
Mask R-CNN算法详解
woduitaodong2698的博客
03-31 2178
Mask R-CNN算法详解论文背景算法背景算法详解RoIAlign神经网络结构FPN实验 论文背景 论文名称：Mask R-CNN 论文链接：https://arxiv.org/abs/1703.06870 论文日期：2018.1.24 算法背景 mask rcnn是用来进行instance segmentation，在检测物体的同时，还进行了高质量的segmentation mask，是在fa...
论文：Mask R-CNN 阅读笔记
weixin_42717395的博客
10-18 452
Mask R-CNN 目录 Mask R-CNN 1 概述 2 模型设计 3 模型损失函数设计 4 模型的训练细节 5 模型实验 6 人体关键点检测 7 模型的性能指标 1 概述 基于Fast/Faster R-CNN、FCN的基础网络，迅速推动了目标检测和语义分割的发展。实例分割是具有挑战性的，因为它需要正确地检测到所有物体，并且对每一个实例进行精确的分割。我们的方法叫做M...
pytorch torchvision 实现的keypoint rcnn使用python进行预测并显示预测结果
不解不惑
07-15 2077
深度学习中，完成模型训练后，需要编写测试文件，读取输入数据和模型进行推理，对推理结果进行输出和显示，这里整理了一个keypoint rcnn的推理和结果显示代码。
在 PyTorch 中使用关键点 RCNN 进行人体姿势估计--附源码
DT程序员的博客
08-18 1541
本文使用 Mask RCNN 的变体来检测人体的关节。在对其前身进行了简要概述之后，我们才深入了解 Keypoint-RCNN 的本质，并研究其各种应用。
KeyPoint of《Fast R-CNN》
学习专栏，期待交流与成长
02-09 1407
Introduction （1）目标检测比目标识别更复杂。其原因是，检测需要将目标精准的定位，这其中包括了候选框的生成，以及将粗定位的候选框refined为精准的位置。 （2）本文使用了端到端的训练方法。该方法jointly learns to classify object proposals and refine there spatial location （3）R-CNN速度慢 （...
(一)Mask R-CNN in Detectron2 for Key Point Detect
机器人视觉感知
09-04 1771
人体关键点检测常用于人体姿态估计，不仅需要找到人的，还需要找出其中关键点的位置。coco中human这个类别每个对象定义了17种关键点，依次是,此外还有skeleton骨架字段，表示各个种类关键点之间的连接信息，如[6, 7]表示与left_elbow相连。{1 : {在coco的标注文件中，keypoints检测数据集的标注信息类别如以上介绍的17种，另外在annotation中增加了和keypoints字段,分别表示当前实例中包含了几个关键点和关键点的具体位置信息。keypoints是长度为3k。
Detectron研读和实践四：用Mask R-CNN进行服饰关键点定位
Blateyang的博客
04-22 7402
前段时间参加了阿里天池的FashionAI服饰关键点定位比赛，为了做比赛，博主尝试用Detectron里面的Mask R-CNN去做关键点定位，取得了一定效果，也算是对Detectron的一些实践，特此做一些记录，希望对需要的朋友有所帮助。
使用Mask R-CNN模型实现人体关键节点标注
华为云官方博客
10-14 2149
在本案例中，我们将展示如何对基础的Mask R-CNN进行扩展，完成人体关键节点标注的任务。
PointRCNN网络结构及原理
elegentbamboo的博客
02-18 1177
PointRCNN简介 CVPR2019，Kitti三维目标检测测试当年第一 Motivation: PointRCNN两个阶段 第一个阶段先生成3d bounding box proposals 第二个阶段：对3d box 微调 基于bin区间的3D框回归 首先预测中心的的位置，将回归任务换成分类任务，类似在坐标轴四个区间分类 其次预测Yaw角大小，将360度划分成很多格，然后将yaw角分类 最后对yaw角分类后一个偏置量的预测，这个是回归任务，前两者都是分类任务 预测各个角度，分成12个
mask rcnn keypoint格式理解
ACM之路
12-10 1450
a = Nx4x17 a[:,:2,:]是关节点 a[:,2,:] 是没有归一化的概率 a[:,3,:] 是归一化的概率
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值