[深度学习从入门到女装]YOLACT Real-time Instance Segmentation

最新推荐文章于 2021-02-19 19:35:21 发布
最新推荐文章于 2021-02-19 19:35:21 发布
阅读量248 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/py184473894/article/details/103611949
版权

论文地址：YOLACT Real-time Instance Segmentation

 

这是一片实例分割的论文，该论文的目的是对原始的one-stage目标检测的框架加上mask的branch实现实例分割，就像Mask R-CNN对Faster R-CNN一样，只不过maskRCNN是two-stage的

 

整体网络框架如上图所示：

文章中也提到说

one-stage的方法使用fc进行bounding box和class 的回归，无法保持spatial coherent（相邻像素可能输入同一个instance）

而two-stage的方法使用了localization step（RoI Align）可以解决输入尺寸不一致的问题，能得到统一尺寸的feature map，就可以使用conv进行bounding box和class的回归，能够保持spatial coherent，但是呢，这种方法会造成冗余，对feature map进行重复计算，速度也比较慢

文章就想要融合以上两种，使用fc来预测mask coefficent，使用conv来预测prototype masks

因此整体框架分为两个branch

一个branch用于预测prototypes，也就相当于对原图进行语义分割，但是一个区别是对prototype不使用语义分割的loss

文中提到说，prototype的输出是unbounded是重要的，能够突出最大的激活点和背景区别，因此他们使用了relu激活函数或者不用激活函数（这里我的理解是，对于语义分割，最后的输出都是用softmax归一化到0-1，但是这里不需要使用softmax，这点还有待查证，需要看源码）

另一个branch用于预测mask coefficient，也就是用于预测类别的置信度和bounding box的回归，与其他检测网络不同的地方在于，这个branch又加了用于预测mask cofficient的结构，用于和prototype一一对应，使用tanh激活函数

 

mask assembly

 

 

炼丹师
关注
专栏目录
DFAnet：Deep Feature Aggregation for Real-time Semantic Segmentation.pdf
10-23
### DFAnet：Deep Feature Aggregation for Real-time Semantic Segmentation #### 概述 本文档主要介绍了DFAnet（Deep Feature Aggregation Network），这是一种专为实时图像语义分割设计的深度学习模型。该模型...
[EmbedMask]EmbedMask: Embedding Coupling for One-stage Instance Segmentation
Ah丶Weii
01-22 334
文章目录1. Motivation2. Contribution3. EmbedMask3.1 Overview3.2 Embedding Definition3.3 Learnable Margin3.4 Smooth Loss3.5 Training3.6 Inference 1. Motivation two-stage 通过ROIPool方法，会造成图像信息的丢失（低分辨率以及ROIPool/Align）的对齐操作。同时它的参数量较多比较复杂。 现有(2019)的one-stage实例分割.
YOLACT：Real-time Instance Segmentation总结
qq_32678471的博客
04-23 1829
YOLACT：Real-time Instance Segmentation 这篇文章精度不高（mAP=29.8%），但是速度上有了较大的提升（33fps），能够达到实时级别。文中提到训练时只用了一个GPU，titanx。我下载源码用4块1080Ti卡跑的时候，采用COCO2014数据集，默认max_iter为400000次，batchsize为8，显示需要34天。看了下代码，感觉很复杂，数据预处...
【EmbedMask】《EmbedMask：Embedding Coupling for One-stage Instance Segmentation》
bryant_meng
09-23 1042
arXiv-2019 code：https://github.com/yinghdb/EmbedMask 在 FCOS 基础上的改进 文章目录1 Background and Motivation2 Related Work3 Advantages / Contributions4 Method4.1 Embedding Definition3.2 Learnable Margin3.3 Smooth Loss3.4 Training3.5 Inference5 Experiments5.1 Dat..
【进展综述】单阶段实例分割（Single Shot Instance Segmentation）
sanshibayuan的博客
01-03 8012
兵荒马乱的秋招结束了，浑浑噩噩地过了几个月，荒废了不少日子，现在打算重新捡起论文来读。这段时间，单阶段实例分割（Single Shot Instance Segmentation）的文章开始大量出现。这篇文章记录一下单阶段实例分割的方法，并简单介绍一下自己印象深刻的几篇论文。
Yolact学习笔记 --- 《YOLACT Real-time Instance Segmentation》
梦坠凡尘
05-07 691
论文：https://arxiv.org/abs/1904.02689 代码：https://github.com/dbolya/yolact Yolact是2019年出的第一个达到实时的开创性实例分割网络，年底也更新到了Yolact++。去年只是用它跑了自己的数据，但一直没有深入学习这个模型，这次好好学习下。 ...
论文阅读：ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation
01-07
文章目录1 摘要2 亮点2.1 initial模块和bottlebeck模块2.1.1 initial模块2.1.2 bottlebeck模块2.2 PReLU2.3 普通卷积、非对称卷积、空洞卷积混合使用2.4 ENet总体结构3 效果4 结论5 参考资料 1 摘要 ...
Efficient Convolutions for Real-Time Semantic Segmentation .pdf
05-20
在标题“Efficient Convolutions for Real-Time Semantic Segmentation.pdf”中提到的知识点是关于“高效卷积”和“实时语义分割”的结合。而描述中强调了“Efficient Convolutions for Real-Time Semantic ...
Efficient Convolutions for Real-Time Semantic Segmentation of 3D
10-02
《Efficient Convolutions for Real-Time Semantic Segmentation of 3D Point Clouds》这篇论文探讨了如何实现高效卷积以实现实时的3D点云语义分割。 传统的2D图像处理方法难以直接应用于3D点云，因为点云数据是非...
单阶段实例分割之一 EmbedMask: Embedding Coupling for One-stage Instance Segmentation
gaow14的博客
05-03 1865
最近一两年，单阶段实例分割的工作出现的越来越多，有基于检测的（先检测后预测mask，检测框架有anchor-based也有anchor-free的），也有直接从图片像素到mask的。而自从anchor-free的单阶段目标检测框架FCOS出来以后，基于该目标检测框架的单阶段实例分割也出现了好几个不错的工作。单阶段目标检测和实例分割的框架一般会显得简洁有效，对其他视觉问题也会有一定的启发意义。自己后...
深度学习论文: CenterMask : Real-Time Anchor-Free Instance Segmentation及其PyTorch实现
mingo_敏
06-01 1566
CenterMask : Real-Time Anchor-Free Instance Segmentation PDF:https://arxiv.org/pdf/1911.06667.pdf PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks 1 概述 在FOCS检测的基础上通过添加一个SAG-Mask（spatial attention-guided mask）分支来实现像Mask RCNN中类似的分割效果。 2 CenterMas
one-stage-anchor-based-retinanet进阶-YOLACT Real-time Instance Segmentation
lovep1的博客
02-19 178
paper地址：https://arxiv.org/pdf/1904.02689.pdf github地址：https://github.com/dbolya/yolact 使用retinanet作为基础的目标检测器，增加mask分支，将实例分割分成两个并行的子任务。精度是比mask rcnn要差的，但是速度相当快，后续也提出了yolact++作为补充，但根据我的实际测试来看，使用效果不是太好。 我对实例分割没有那么的熟悉，因此yolact更多的是进行与检测方面的对比和思想的理解。 ...
[深度学习从入门到女装]EmbedMask: Embedding Coupling for One-stage Instance Segmentation
炼丹师
12-19 1365
论文地址：EmbedMask: Embedding Coupling for One-stage Instance Segmentation 一篇使用embedding方法进行one-stage instance segmentation的论文 文章中提到，目前进行instance segmentation的方法有两类： 第一类：two-stage方法，把instance seg...
实例分割之YOLACT（You Only Look At CoefficienTs）
年轻即出发，
05-04 4419
论文：YOLACT: Real-time Instance Segmentation Github: https://github.com/dbolya/yolact 论文提出了基于one-stage的目标检+分割的框架YOLACT。类似于YOLO，主打的亮点在于实时性。精度弱于mask-rcnn，但是速度却比mask-rcnn快很多。在MS-COCO上达到了29.8的map和33...
基于java的技术大健康综合咨询问诊平台的设计与实现.docx
09-19
基于java的技术大健康综合咨询问诊平台的设计与实现.docx
#_ssm_121_mysql_酒店管理系统_.zip
09-19
均包含代码，文章，部分项目包含ppt
#_ssm_099_mysql_花卉养殖知识平台_.zip
09-19
均包含代码，文章，部分项目包含ppt
HTML+CSS实现一个好看的动态交互效果底部导航栏源码
最新发布
09-19
演示地址：https://blog.csdn.net/qq_41221596/article/details/142372140
deep snake for real-time instance segmentation
06-28
Deep Snake是一种用于实时实例分割的算法。它基于深度学习技术，通过对图像中的每个像素进行分类，实现对目标物体的精确分割。Deep Snake算法具有高效性和准确性，可以应用于许多领域，如自动驾驶、医学影像分析等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值