CV-掩码模型：MAE、SimMIM

已于 2022-12-12 17:18:17 修改
阅读量352 收藏
点赞数
分类专栏： # CV/基于掩码的学习 文章标签： 深度学习 人工智能
于 2022-12-12 15:50:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/128288418
版权

MAE发布以来，各种使用掩码技术的自监督掩码模型在其基础之上有了更进一步的研究。在本文中我们将探索一篇和MAE同期的工作：SimMIM: A Simple Framework for Masked Image Modeling，研究团队是微软亚研院，并在PyTorch中编写它，最后我们也会提供相关的代码。

SimMIM的骨干网络是VIT，熟悉自监督学习的基础知识也非常有帮助，最后我们还要精通PyTorch，因为我们使用它来实现我们的模型。

更简单的掩码图像建模框架SimMIM介绍和PyTorch代码实现

u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【自监督论文阅读笔记】Simmim: A simple framework formasked image modeling
YoooooL_的博客
10-20 1456
本文介绍了，这是一个的简单框架。本文简化了最近提出的相关方法，，例如通过离散 VAE 或聚类 进行 block-wise 分块级的掩码 和 tokenization。为了研究，本文系统地研究了本文框架中的主要组件，并发现 每个组件的简单设计 都显示出 非常强的表示学习性能：1）中等大小的掩码patch（例如，32）是一个；2)直接回归原始像素的 RGB 值；3）预测头轻，。
MAE同期工作，MSRA新作SimMiM：掩码图像建模，赶在内卷前的新方向！
wqthaha的专栏
06-06 886
SimMiM，遮挡图像建模有一篇大作，MAE同期作品，CVPR2022被接收文章。
CV-掩码学习-模型-2021：MAE【在NLP和CV两大领域之间架起了一座更简便的桥梁】
u013250861的博客
12-12 258
同样，我们的MAE重建的像素不是语义实体。然而，我们观察到（如图4），我们的MAE推断出复杂的整体重建，表明它已经学习了许多视觉概念，即语义。直观点讲，就是事先遮住一些文本片段，让AI模型通过自监督学习，通过海量语料库的预训练，逐步掌握上下文语境，把这些被遮住的片段，用尽可能合乎逻辑的方式填回去。现在，何恺明的这篇文章把NLP领域已被证明极其有效的方式，用在了计算机视觉（CV）领域，而且模型更简单。此前，大名鼎鼎的GPT和BERT已经将大型自然语言处理（NLP）模型的性能提升到了一个新的高度。
续何恺明的MAE后！MSRA提出掩码图像建模新框架：SimMIM
阿木寺的博客
11-20 833
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达、作者：机智勇敢萌刚刚|已授权转载（源：知乎）https://zhuanlan.zhihu.com/p/4353...
opencv图像处理学习（二十三）——掩码
图像学习之旅
04-01 4243
图像的掩码操作是指通过掩码核算子重新计算图像中各个像素的值，掩码核算子刻画邻域像素点对新像素值的影响程度，同时根据掩码算子中权重因子对原像素点进行加权平均。图像掩码操作常用于图像平滑、边缘检测及特征分析等领域，opencv中常用的计算图像掩码的操作有下面两种。 <1>基于像素邻域遍历 对于源图像数据f（x，y），卷积核算子为3x3，计算源图像数据4邻域均值掩码可通过下式来完成。 ...
ngx-currency：:package:Angular的货币掩码模块
01-28
ngx-currency演示版目录关于入门安装和导入通过命令安装软件包： npm install ngx-currency --save 导入模块import { NgxCurrencyModule } from "ngx-currency" ;@ NgModule ( { imports : [ ......
mask-passwords-plugin:Jenkins 的掩码密码插件
05-31
Jenkins 的掩码密码插件 此插件允许屏蔽可能出现在控制台中的密码。 关于这个插件 此插件允许屏蔽可能出现在控制台中的密码，包括定义为构建参数的密码。 例如，当您使用无法正确处理密码的构建步骤时，经常会发生...
node-nested-object-mask:节点嵌套对象掩码
06-01
嵌套对象掩码（NOM） 像object-mask ，但嵌套 注意：该库包含丰富的嵌套对象屏蔽实现，并且具有比用于平面对象屏蔽的类似库更复杂的语义。 如果您不是特别需要此库的嵌套支持，请尝试使用object-mask来获取更简单的...
Understanding-Clouds-from-Satellite-Images:模型
04-21
使用seg1获取预测，将seg1中的非空掩码替换为seg2中的预测 使用cls删除更多空遮罩时，像素级别（细分）和图像级别（分类器）的阈值为0.5。 两阶段细分的基准结果 型号摘要： . Network: Resnet34-FPN . Image size...
react-verification-input::person_gesturing_OK_medium-light_skin_tone:可自定义的，可屏蔽的输入，可用于各种代码
05-12
React验证输入 react-verification-input是可自定义的，带掩码的输入，可用于在进行双重身份验证时输入各种代码，例如安全代码。 另外，我敢肯定，您还能想到更多具有创造力的用例。 该组件与完全兼容 :party_popper...
OpenCV（4）矩阵掩码操作/像素算数、逻辑操作 C++
soinlove36的专栏
08-22 460
1. 矩阵上的掩码操作 1.1.（cv :: filter2D）矩阵上的掩码操作 1.2.（cv :: CV_Assert） 确保输入图像数据是unsigned char格式 图像对比度增强方法的问题。基本上我们要为图像的每个像素应用以下公式： I(i,j) = 5 * I(i,j) – [ I(i-1,j) + I(i+1,j) + I(i,j-1) + I(i,j+1)]， I(i,j) ：表示目标像素点；i ：表示像素点的横坐标；j ：表示像素点的纵坐标I(i-1,j) 、I(i+1,
Masked Image Modelling（MAE，iBOT，Data2vec，SimMIM，CAE，BEVT）
nakaizura
02-13 6178
这篇文章主要整理kaiming大神所提出的MAE，和一些有代表性的变体模型。 Masked Autoencoders Are Scalable Vision Learners 在iGPT和BEiT的基础上，化繁为简，找出了最关键的点，能够让BERT式预训练在CV上也能训到很好！ 在预训练期间，大比例的随机的图像块子集（如 75%）被屏蔽掉。编码器用于可见patch的小子集。在编码器之后引入掩码标记，并且完整的编码块和掩码标记集由一个小型解码器处理，该解码器以像素为单位重建原始图像。 MAE 是一种简单的自.
GreenMiM：接地气的MiM，强强联合Swin Transformer和何凯明的MAE，没有大显卡也能跑起来
wqthaha的专栏
06-08 857
文章提出了一种针对MiM（Masked image modeling，遮挡图像建模）采用分层ViT如SwinT的有效方法
OpenCV学习笔记09_掩码操作(卷积操作)
qq_40595787的博客
11-02 2002
掩码操作 根据掩码矩阵（也称作核）重新计算图像中每个像素的值。掩码矩阵中的值表示近邻像素值(包括该像素自身的值)对新像素值有多大影响。从数学观点看，我们用自己设置的权值，对像素邻域内的值做了个加权平均。 图像的掩码操作是指通过掩码核算子重新计算图像中各个像素的值，掩码核算子刻画领域像素点对新像素值得影响程度，同时根据掩码算子中权重因子对像素点进行加权平均。图像掩码操作常用于图像平滑、边缘检测、特征分析等区域。 具体思路为8邻域的像素点与本身像素点作加权运算(kernel size：3x3) 实现方式(三通道
更简单的掩码图像建模框架SimMIM介绍和PyTorch代码实现
deephub
08-07 3996
在本文中，我们介绍 SimMIM，这是一种受掩码建模启发的强大 SSL 算法，其中一部分输入数据被掩码，模型的目标是最小化重建损失。为了更熟悉模型的运行方式我们还是用Pytorch对其进行了实现 ，这样可以帮助我们了解模型的细节。引用：作者：Borna Ahmadzadeh。...
Opencv学习笔记之使用图像掩码
qq_36536126的博客
05-01 1425
掩码是一个8位图像，如果掩码中某个位置的值不为0，在这个位置上的操作不起作用；如果掩码中某些像素位置为0，那么对图像中相应位置的操作将不会起作用。 #include&lt;opencv2/core.hpp&gt; #include&lt;opencv2/highgui.hpp&gt; cv::Mat image1,logo; int main(int argc, char** argv) { im...
SimMIM：一种更简单的MIM方法
shenlanshenyanai的博客
12-14 7316
自从何恺明的MAE（←点击蓝字查看文章详情）出来之后，基于MIM（Masked Image Modeling）的无监督学习方法越来越受到关注。这里介绍一篇和MAE同期的工作：SimMIM: A Simple Framework for Masked Image Modeling，研究团队是微软亚研院。 SimMIM和MAE有很多相似的设计和结论，而且效果也比较接近，比如基于ViT-B的模型无监督训练后再finetune可以ImageNet数据集达到83.8%的top1 accuray（MAE为83.6%）
MAE(CV领域的Bert)
weixin_45642184的博客
03-07 6058
MAE(CV领域的Bert)Masked Autoencoders Are Scalable Vision Learners 这篇文章是在2021年11月11号提交到arxiv上面的,Transformer是一个基于纯注意力机制的编码器与解码器。
读论文——MAE（CV小白带读2021何恺明新作）
y1040468929的博客
12-04 4139
ResNet作者，2021年新作，预定顶会？
[[[False False False ... False False False] 2023-07-16 11:38:37 [False False False ... False False False] 2023-07-16 11:38:37 [False False False ... False False False] 2023-07-16 11:38:37 ... 2023-07-16 11:38:37 [False False False ... False False False] 2023-07-16 11:38:37 [False False False ... False False False] 2023-07-16 11:38:37 [False False False ... False False False]] 2023-07-16 11:38:37 2023-07-16 11:38:37 [[False False False ... False False False] 2023-07-16 11:38:37 [False False False ... False False False] 2023-07-16 11:38:37 [False False False ... False False False] 2023-07-16 11:38:37 ... 2023-07-16 11:38:37 [False False False ... False False False] 2023-07-16 11:38:37 [False False False ... False False False] 2023-07-16 11:38:37 [False False False ... False False False]]] 这个false是啥
最新发布
07-17
根据您提供的输出，`False`表示布尔值中的假值在这种情况下，它表示二值掩码中的像素点为假（即不属于目标物体）。 您的输出是一个三维数组，其中每个元素都是一个二维布尔数组。该数组表示分割掩码，其中 `True` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值