Mask2Former源码解析

最新推荐文章于 2023-08-23 17:33:56 发布
最新推荐文章于 2023-08-23 17:33:56 发布
阅读量2.5k 收藏 25
点赞数 11
分类专栏： 深度学习 文章标签： 语义分割 mask2former transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36810544/article/details/127706342
版权

自己挖的坑自己含着泪也得填！之所以隔了这么久才来填坑，一来工作实在是太忙了；二来，Mask2Former的官方代码也是真的绕，想简化一版出来即方便我自己解析也方便小白们理解。首先，膜拜一下Facebook的大神们太牛了，Mask2Former的效果实在是杠杠滴。由于我时间有限，只完成了基于resnet50作为backbone的语义分割网络，需要实例分割的小伙伴就只能靠你们自己动手了。下面的分析基于我写的简化版完成，代码结构与官方源码基本一致，仅仅移除了对detectron2框架的依赖，只需pytorch即可。源码中对比较难理解的地方也都做了注释，请各位自取。
Mask2Former-Simplify
模型预测结果，两行的结果是一样的，只是第一行是使用detectron2显示的，下面一行是重写的显示类，差别仅仅是没有类别信息。详情请参见github上的说明
在这里插入图片描述

实在是没精力再调一遍格式了，源码解析还请参看：Mask2Former源码解析

zzubqh103
关注
  • 11
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
【深度学习】语义分割:论文阅读：（2021-12）Mask2Former
zhe470719的博客
06-04 6949
论文：Masked-attention Mask Transformer for Universal Image Segmentation 代码： 官方-代码 代码视频： b站论文讲解笔记参考： 翻译版Mask2Former在MaskFormer的基础上，本文的改进呢**主要是mask attention还有high-resolution features，**本质上是一个金字塔，剩下的一些关于训练上的还有optimization上改进呢，能够提高训练速度 masked attention 我们知道dec
COVID19-Face-Mask-DetectionMATLAB源码解析【图像处理】COVID-19 防疫应用口罩检测
11-29
MATLAB源码解析【图像处理】COVID-19 防疫应用口罩检测
【实例分割｜Mask2Former】 解决模型推理预测的代码中存在的一些问题
【人工智障 | 计算鸡视觉 | 机器孩】
08-09 7717
解决模型推理预测的代码中存在的一些问题： 1. 取消终端输出网络结构 2. 推理置信度设置 3. 预测实例存在多个轮廓 4. 预测模型返回筛选后实例
MaskFormer 在 MMDtection 中复现全流程解析
qq_39967751的博客
06-22 3123
熟悉我们的小伙伴肯定知道 MMDetection 已经支持了全景分割算法 MaskFormer 啦！今天我们就以 MaskFormer 为例，和大家一起学习在 MMDetection 复现算法的全流程。我们十分欢迎社区的小伙伴和我们一起往 MMDetection 中添加新的算法，共同打造更加优异的目标检测框架。......
mask2former_onepeace_adapter_g_896_40k_ade20k_ss.py
最新发布
11-13
mask2former_onepeace_adapter_g_896_40k_ade20k_ss.py
MaskFormer V1 V2论文分享PPT
09-02
图像分割是关于将不同语义的像素分组，例如，类别或实例成员关系，其中每个语义的选择定义了一个任务。虽然只是每个任务的语义不同，但目前的研究重点是为每个任务设计专门的体系结构。我们提出了一种新的架构Mask -attention Mask Transformer (Mask2Former)，能够解决任何图像分割任务(全景、实例或语义)。它的关键组成部分包括Mask -attention，通过约束掩模区域内的交叉注意来提取局部特征。除了将研究工作量减少至少三倍之外，它在四个流行的数据集上的性能显著优于最好的专门架构。最值得注意的是，Mask2Former设置了一个新的最先进的全景分割(COCO上57.8 PQ)，实例分割(COCO上50.1 AP)和语义分割(ADE20K上57.7 mIoU)。
Mask2Former来了！用于通用图像分割的 Masked-attention Mask Transformer
qq_44089890的博客
04-29 6334
IoU可以表示为预测分割区域与真实分割区域的交集除以它们的并集：IoU = TP / (TP + FP + FN)，其中TP表示真正例（预测为正例且真实为正例的像素数），FP表示假正例（预测为正例但真实为负例的像素数），FN表示假反例（预测为负例但真实为正例的像素数）。在这个过程中，注意力模块可以帮助模型在不同尺度的特征之间学习相关性，并将不同尺度的特征进行融合，以提高分割的准确性。因此，需要将输入图像划分为多个小的区域，例如ViT中的patch，Swin Transformer中的window等。
Mask2Former
acx0000的博客
07-12 5810
Mask2Former论文自学总结分享给大家~~
【实例分割】（二）Mask2Former
向上生长的程序媛的博客
08-23 1937
mask2former提出了一个统一的分割架构，能够在语义分割、实例分割、全景分割上取得sota的结果，在coco数据集上，全景分割57.8PQ、实例分割50.1AP、语义分割在ADE20K达57.7miou。
能同时做三个分割任务的模型，性能和效率优于MaskFormer！Meta&UIUC提出通用分割模型，性能优于任务特定模型！开源！...
我爱计算机视觉
07-06 910
关注公众号，发现CV技术之美本篇分享 CVPR2022 论文『Masked-attention Mask Transformer for Universal Image Segmentation』能同时做三个分割任务的模型，性能和效率优于MaskFormer！Meta&UIUC提出通用分割模型，性能优于任务特定的模型！代码已开源！详细信息如下：论文地址：https...
detectron2-maskrcnn
04-10
detectron2训练自己的图像集
MaskFormer:每像素分类并不是语义分割所需要的全部
08-05
MaskFormer：每像素分类并不是语义分割所需要的全部 、、 [ ] [ ] [ ] 特征 在提高效率的同时获得更好的结果。 语义和实例级分割任务的统一视图。 支持主要语义分割数据集：ADE20K、Cityscapes、COCO-Stuff、Mapillary Vistas。 支持所有Detectron2 型号。 安装 请参阅。 入门 请参阅。 请参阅MaskFormer 入门。 模型动物园和基线 我们提供了大量基线结果和训练模型，可在MaskFormer Model Zoo 中下载。 执照 盾： MaskFormer 的大部分内容均采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。 但是，该项目的部分内容根据单独的许可条款提供：Swin-Transformer-Semantic-Segmentation 根据MIT 许可获得许可。 引用 Mask
Mask2former源码(mmdetection).zip
07-02
Mask2former源码(mmdetection).zip
GUI.rar_poly2mask
09-22
Matlab impoly application
Blendmask-sourceCode源码+内含如何进行具体安装环境与部署
01-06
适用于对Detectron感兴趣的小伙伴，以及会安装detectron2的小伙伴。冰墩墩雪容融的数据集目前是丢失了，大家可以自己去准备一个数据集即可，分的类我的话只有两个的，一个是冰墩墩一个是雪容融，大家可以去我的博客...
日常填坑-DCNv2+pytorch1.7+vs2017编译
qq_30625217的博客
11-26 6967
由于换工作已经很久没写文章了，今天写换工作后的第一篇文章 在win10+pytorch1.7下编译DCNv2这个东东。 去github上下载最新的DCNv2源码（如果你的初心是为了运行CenterNet，辣么用新下载的替换掉CenterNet里自带的DCNv2文件夹） 开始折腾： 定位到你的 ‘torch/utils/cpp_extension.py’文件(一般在你的python安装目录site-packages文件夹下) 定位到1374行，将源码 command = [‘ninja’, ‘-v’] 修改
基于MSCNN的人群密度估计之生成人群密度图
qq_30625217的博客
02-03 6362
终于到了在家躺着都是给国家做贡献的时候(手动捂脸)，对人员密集场所的监控和自动报警也算是对疫情的一份贡献吧，哈哈！项目地址：https://github.com/zzubqh/CrowdCount，如果你感觉有点用就帮不点个start吧 ???? 人群密度估计算法 传统的人群计数方法 基于检测和回归的方法 基于密度图的方法 深度学习的方法 深度学习的方法在目标检测、识别、分割相比传统的方法都取得...
使用NCNN在移动端部署深度学习模型
qq_30625217的博客
06-24 5274
整体流程概览 使用pytoch训练模型，
日常填坑之keras.backend.ctc_batch_cost参数问题
qq_30625217的博客
02-11 3961
InvalidArgumentError sequence_length(0) <=30错误 下面的代码是在网上绝大多数文章给出的关于k.ctc_batch_cost()函数的使用代码 def ctc_lambda_func(args): y_pred, labels, input_length, label_length = args # the 2 is critical...
mask2former复现
08-12
为了复现Mask2Former，你可以按照以下步骤进行操作： 1. 首先，根据提供的配置文件（configs/segmentation/mask2former/mask2former_r50_8xb2_e50_instance.py）进行设置。这个配置文件包含了数据处理、模型训练和验证的相关信息。你可以根据需要修改预测的类别和数据路径。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [使用 EasyCV Mask2Former 轻松实现图像分割](https://blog.csdn.net/u012181546/article/details/127881956)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值