mask_rcnn的改进

原本mask-rcnn是在faster_rcnn的检测分支基础上,并行的增加一个分割分支,对ROI align的特征图分别进行检测与分割,如下图所示:

这样其实训练时候会很慢,而且对同样的ROI使用同一个ROI align没有分开使用ROI align训练速度快,如下图所示:

另外,faster_rcnn中送给ROI align的候选区域数量很多,一般有100-300不等,这样其实需要学习的分割图数量上是很大的,所以导致分割分支不容易学到。而且在正常的faster_rcnn测试流程中,真正输出的候选框是经过nms与分数过滤的,剩下的会很少。同时,在mask-rcnn中,输出结果是以检测的结果为基准,在检测的结果内部给出该区域的分割结果。因此,真正需要进行像素级别语义分割的区域仅仅是检测最终结果的窗口内部区域,通常占roi区域不到十分之一或更少。

综上,对mask-rcnn的结果进行改进,在检测结果上进行mask分支的预测,如下图所示:

通过实验发现,其收敛速度也比原版快很多。

  • 4
    点赞
  • 37
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
mask_rcnn是一种广泛应用于计算机视觉领域的模型,它是在Faster RCNN基础上进行改进得到的。COCO2017是代表微软公司在2017年推出的一个大规模目标检测、分割和关键点检测数据集。 mask_rcnn模型结合了目标检测、实例分割和语义分割的功能,能够检测图像中的多个目标并准确地对每个目标进行分割。在训练过程中,mask_rcnn通过对每个RoI(Region of Interest)应用ROI Align操作,将特征图映射到固定大小的特征图上,然后通过RPN(Region Proposal Network)生成ROIs,并对生成的ROIs进行分类、边界框回归和掩码预测。 COCO2017数据集是一个非常庞大的数据集,包含超过150,000张标记的图像,共80个不同的类别。这些图像涵盖了各种场景,如人、动物、交通工具等。COCO2017数据集在目标检测、分割和关键点检测任务上提供了丰富的标注信息,使得模型能够学习不同类别的目标的特征。 使用mask_rcnn模型在COCO2017数据集上进行训练可以有效地改善图像识别、目标检测和分割任务的性能。通过在训练过程中引入语义分割和掩码预测,mask_rcnn能够更好地理解图像中不同目标的空间关系,从而提供更准确的目标检测和分割结果。此外,COCO2017数据集的丰富标注信息能够帮助模型更好地学习各个类别目标的特征,提高模型在实际场景中的适用性。 总体而言,mask_rcnn模型结合COCO2017数据集可提供更好的目标检测、分割和关键点检测能力,为计算机视觉领域的各种应用提供了强有力的支撑。
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值