何恺明最新工作：简单实用的自监督学习方案MAE，ImageNet-1K 87.8%

最新推荐文章于 2024-04-13 21:43:20 发布
最新推荐文章于 2024-04-13 21:43:20 发布
阅读量1k 收藏 1
点赞数
文章标签： 计算机视觉 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Extremevision/article/details/121293705
版权

作者丨happy
编辑丨极市平台
本文首发于极市平台，转载须经授权并注明来源

论文链接：https://arxiv.org/pdf/2111.06377.pdf

恺明出品，必属精品！这篇文章延续了其一贯的风格：简单且实用。这篇文章仍属于恺明最近两年的研究领域：自监督领域(自监督学习就是被他带火的吧)。本文的出发点则是BERT的掩码自编码机制：移除一部分数据并对移除的内容进行学习。掩码自编码源于CV但盛于NLP，恺明对此提出了疑问：是什么导致了掩码自编码在视觉与语言之间的差异？尝试从不同角度进行解释并由此引申出了本文的MAE。

原文链接：何恺明最新一作：简单实用的自监督学习方案 MAE，ImageNet-1K 87.8%！

极市平台
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
等级近似：使用基线预测和 SVD 降低 MAE-matlab开发
06-01
在本文中，我们将深入探讨如何使用基线预测和奇异值分解（Singular Value Decomposition, SVD）在MATLAB环境中降低均方根误差（Mean Absolute Error, MAE），特别是针对推荐系统中的数据集。该实践案例是基于...
70页《自监督学习》最新简明指南，图灵奖LeCun等编著 .pdf
05-21
自监督学习（Self-Supervised Learning，SSL）是一种利用未标记数据进行学习的机器学习方法，它无需依赖人工标注的数据，而是通过设计自洽的任务来提取数据中的内在结构和模式。这种方法在近年来得到了广泛的关注，...
MAE：视觉自监督2021（原理+代码）
qq_45752541的博客
03-17 1万+
MAE 论文「Masked Autoencoders Are Scalable Vision Learners」证明了 masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。 遮住95%的像素后，仍能还原出物体的轮廓，效果如图： 本文提出了一种掩膜自编码器 (MAE)架构，可以作为计算机视觉的可扩展自监督学习器使用。 实现方法很简单：先将输入图像的随机部分予以屏蔽（Mask），再重建丢失的像素。 本文提出的MAE架构如下： 1. 大比例的随机的图像块子集（如 7
自监督学习简介
chumingqian的博客
06-23 7976
自监督学习是可以看做是一种特殊的无监督学习的一个子类别（但并非无监督学习），因为它利用了未标记的数据。
CVPR 2023 | 用GAN统一图像识别和生成！谷歌提出MAGE，效果号称超越MAE，达到SOTA！...
idol24的博客
03-11 2187
本文来源 机器之心识别和生成是人工智能领域中的两大核心任务，如果能将二者合并到一个统一的系统中，这两个任务应该能实现互补。事实上，在自然语言处理中，像 BERT [1] 这样的模型不仅能够生成高质量的文本，还能够提取文本中的特征。然而，在计算机视觉领域，目前的图像生成模型和识别模型大多是分开进行训练，没有充分利用这两个任务的协同作用。这主要是由于图像生成和图像识别的模型通常具有本质上的结构差异：...
机器学习之自监督学习（五）MAE翻译与总结（一）
m0_46521375的博客
11-23 556
一个合理深的解码器可以弥补重建专业化在识别方面的不足，将潜在表示留在更抽象的层次上。线性分类层，然后在特定数据集上进行微调，端到端就是在特定数据集上可以通过训练修改模型参数，线性探测是仅仅在特定数据集上训练最后的线性分类层。这个编码器的输入中有很大一部分是掩模标记，而在未被损坏的图像中不存在这些掩模标记。我们的方法包括一个编码器，将观察到的信号映射到潜在表示，以及一个解码器，从潜在表示和掩模标记中重建原始信号。图像只是记录的光线，没有将其分解成视觉上的单词的语义。对于线性探测来说，足够深的解码器非常重要（
MAE——自监督学习，何凯明大神作品
最新发布
weiming0的博客
04-13 929
MAE(Masked Autoencoders)是用于CV的自监督学习方法(对照于NLP的BERT），优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。
预测问题评价指标：MAE、MSE、R-Square、MAPE和RMSE
10-18
在数据分析和机器学习领域，预测模型的性能评估是至关重要的步骤。这有助于我们理解模型的准确性和可靠性。本文将详细探讨五个常用的预测问题评价指标：平均绝对误差（Mean Absolute Error, MAE）、均方误差（Mean ...
mae1-e
04-02
介绍了关于mae1-e的详细说明，提供其它知识的技术资料的下载。
监督学习-模型的选择与评估
01-10
在监督学习中，模型的选择与评估是至关重要的步骤，它涉及到如何有效地衡量模型的性能以及如何优化模型以达到更好的预测效果。以下是对这些知识点的详细解释： 1. **模型评估**： - **数据集的划分**：在训练模型...
imagenet-clean:自动清除ImageNet 1k和ImageNetV2数据集
03-30
ImageNet清洁 该存储库包含Bash脚本，用于清理ImageNet 1k数据集和采用不同配置的预训练Pytorch模型。 可以从下载Bash脚本。 可以从下载Pytorch预训练模型。 要求 下载ImageNet 1k（ ）和/或ImagenetV2（ ）数据集。 Bash运行清理脚本。 ImageMagick应用分类修复。 Pytorch和Pytorch图像模型（ ）使用预先训练的模型。 清理ImageNet 1k（验证集） 将脚本下载并解压缩到目录中。 将imagenet_val _ *。sh脚本复制到数据集的验证集子目录（val /）中，并按以下顺序执行脚本： 根据信心学习来修复图像标签： ./imagenet_val_1_image_fixes.sh 根据模型共识和自信的学习，删除错误的问题图像： ./imagenet_val_2_image_removal
你真的看懂扩散模型(diffusion model)了吗？(从DALL·E 2讲起，GAN、VAE、MAE都有)
年少的勇气已经用完，剩下的就是三思而后行
12-03 4733
我们来讲一下什么是扩散模型，如果你不了解一些工作，你可能不清楚它究竟是什么。AI作画（输入一些文字就可以得到与你描述相符的图像）和抖音大火的真图生成漫画风图等都是它的成果。如下图是我利用AI生成的漫画图。文生图以及根据文字/图像对已有图像进行改图，当然这里的工作只是有限的列举，在各个方面扩散模型仍有很多优秀表现。扩散模型是根据文本/图像输入生成原创性的贴近真实的图片输出。值得一提的是，这里原创性。
【无监督】2、MAE | 自监督模型提取的图像特征也很能打！（CVPR2022 Oral）
呆呆的猫的博客
08-14 1315
本文主要介绍 CVPR2022 Oral MAE 方法
自监督学习（self-supervised learning）
静妮子的博客
10-01 1017
self-supervised learning
MAE(掩码自编码器)是可扩展的计算机视觉自监督学习方法
weixin_51697828的博客
12-20 3793
原文：He,Kaiming,XinleiChen,SainingXie,YanghaoLi,PiotrDoll'arandRossB.Girshick.“MaskedAutoencodersAreScalableVisionLearners.”ArXivabs/2111.06377(2021). 1.Abstract 本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习方法。我们的MAE方法很简单：我们对输入图像的patches进行随机掩码...
【自监督学习】MAE论文解读《 Masked Autoencoders Are Scalable Vision Learners 》
weixin_63219670的博客
12-26 1233
提出可扩展的自监督学习方法。MAE有两个核心设计，一是采用一种非对称的编码器-解码器架构，编码器仅对可见的图像区域进行操作，轻量级的解码器从潜在表示和遮罩标记区域重构原始图像。二是发现高比例的图像遮罩可以产生一个有意义且非平凡的自监督任务。MAE（遮罩自编码器）的思想是一种更通用的去噪自编码器。
【深度学习】详解 MAE
热门推荐
闻韶
12-01 1万+
【深度学习】详解 MAE - Masked Autoencoders Are Scalable Vision Learners
何恺明大神代表之自监督学习MAE，简单高效。（凡人很难望其项背。。。）
qq_36101623的博客
01-05 695
与传统的自编码器不同，我们采用了一种不对称设计，允许编码器仅在部分观察到的信号（没有遮罩标记）上进行操作，并使用轻量级的解码器从潜在表示和遮罩标记中重构完整的信号。掩码自编码器的概念，是更一般的去噪自编码器的一种形式[58]，在计算机视觉中也是自然而适用的。然而，我们观察到（例如，图4），我们的遮罩自编码器推断出复杂而整体的重构，表明它已经学到了许多视觉概念，即语义。虽然在BERT中解码器可以是简单的（MLP）[14]，但我们发现在图像中，解码器的设计在确定学到的潜在表示的语义水平上起着关键作用。
深度分析何恺明新作MAE：通向CV大模型
极市平台的技术博客
11-22 6144
作者丨科技猛兽 编辑丨极市平台 本文原创首发于极市平台公众号，转载请获得授权并标明出处。 本文目录 1 MAE 1.1 Self-supervised Learning 1.2 Masked AutoEncoder (MAE) 方法概述 1.3 MAE Encoder 1.4 MAE Decoder 1.5 自监督学习目标函数 Reconstruction Target 1.6 具体实现方法 1.7 ImageNet 实验结果 1.8 masking ratio 对性能的影响 1.9 观察到的一些实验现象
对比学习深度解析：从CPC到MAE，SimCSE到Tabular数据
"这篇综述文章深入探讨了对比学习的发展历程，从最初的CPC到MAE，以及在图像、文本SimCSE和表格数据Tabular领域的应用。文章还介绍了对比学习损失函数InfoNCE的起源，并阐述了无监督学习在预训练任务中的重要性。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值