转载自：新智元 | 编辑：小咸鱼 好困
【导读】近日，北大校友、约翰·霍普金斯大学博士生提出了一种新的方法：MaskFeat，摘下12个SOTA！
点击进入—> CV 微信技术交流群
这是一个能用于视频模型的自监督预训练方法：掩码特征预测（MaskFeat）。
Masked Feature Prediction for Self-Supervised Visual Pre-Training
Masked Feature Prediction for Vision Self-Supervised Pre-Training
https://arxiv.org/abs/2112.09133
简而言之，MaskFeat的ViT-B在ImageNet 1K上的准确率达到了84.0%，MViT-L在Kinetics-400上的准确率达到了86.7%，成功地超越了BEiT等方法。
一作Chen Wei是约翰·霍普金斯大学的计算机科学博士生，此前在北京大学获得了计算机科学学士学位。
并曾在FAIR、谷歌和华为诺亚方舟实验室实习，主要研究方向是视觉自监督学习。
HOG VS Pixel Colors
「Mask-and-Predict」总要有个可以「Predict」的特征来让模型学习到东西。
MaskFeat最核心的改变就是将MAE对图像像素（pixel）的直接预测，替换成对图像的方向梯度直方图（HOG）的预测。
图像HOG特征向量
说到HOG，这可不是什么新鲜玩意儿。
HOG是一种经典的图像特征提取算法，发表于2005年的CVPR，到现在已经收获了37000+的引用。
https://hal.inria.fr/file/index/docid/548512/filename/hog_cvpr2005.pdf
那为什么预测图像的HOG比直接预测像素更好呢？
像素作为预测目标，有一个潜在的缺点，那就是会让模型过度拟合局部统计数据（例如光照和对比度变化）和高频细节，而这些对于视觉内容的解释来说很可能并不是特别重要。
相反，方向梯度直方图（HOG）是描述局部子区域内梯度方向或边缘方向分布的特征描述符，通过简单的梯度滤波（即减去相邻像素）来计算每个像素的梯度大小和方向来实现的。
通过将局部梯度组织化和归一化，HOG对模糊问题更加稳健
HOG的特点是善于捕捉局部形状和外观，同时对几何变化不敏感，对光的变化也有不变性，计算引入的开销还很小，可以忽略不计。
这次，MaskFeat引入HOG，其实正是将手工特征与深度学习模型结合起来的一次尝试。
MaskFeat首先随机地mask输入序列的一部分，然后预测被mask区域的特征。
对未见过的验证图像的HOG预测
只不过，模型是通过预测给定masked input（左）的HOG特征（中间）来学习的，原始图像（右）并不用于预测。
方向梯度直方图（HOG）这个点子的加入使得MaskFeat模型更加简化，在性能和效率方面都有非常出色的表现。
在不使用额外的模型权重、监督和数据的情况下，MaskFeat预训练的MViT-L在Kinetics-400数据集上获得了86.7%的Top-1准确率。
这个成绩以5.2%的幅度领先此前的SOTA，也超过了使用如IN-21K和JFT-300M这些大规模图像数据集的方法。
此外，MaskFeat的准确率在Kinetics-600数据集上为88.3%，在Kinetics-700数据集上为80.4%，在AVA数据集上为38.8 mAP，而在SSv2数据集上为75.0%。
结果分析
Kinetics-400数据集
相比于不使用预训练的CNN，严重依赖大规模图像数据集和监督性预训练的基于Transformer的方法，MaskFeat表现出极佳的性能。
在Kinetics-400数据集上的比较
经过300个epoch预训练的MaskFeat将MViT-S，16×4的81.1%的top-1准确率提高了1.1%。其中，16×4表示该模型在训练过程中采用16个时间跨度为4的帧作为输入。
而在K400上用MaskFeat预训练了800个epoch的MViT-L 16×4达到了84.3%的top-1准确率，比其基线高出了3.8%，比使用IN-21K训练的监督模型高出了0.8%。
MaskFeat也以一己之力将K400上没有外部数据的最佳准确率（MoViNet-A6的81.5%）提高了5.2%。
此外，MaskFeat仅用K400的结果（86.7%）就能和86.5%的Florence和86.8%的SwinV2-G不相上下。其中，Florence使用了9亿个文本-图像对，SwinV2-G使用了一个具有30亿个参数的巨型模型，并首先在IN-21K和7千万张内部图像的大型数据集上进行自我监督和监督预训练。
可以说，MaskFeat在参数量、计算成本、数据和注释方面的高效性再次证明了直接在未标记的视频上进行预训练的优势，也为一种全新的视频预训练方式打开了大门。
Kinetics-600 & Kinetics-700数据集
在Kinetics-600数据集上的比较
在Kinetics-700数据集上的比较
MaskFeat在K600和K700上分别达到了86.4%和77.5%的top-1准确率，与之前基于Transformer的方法相比，既没有使用外部的图像数据，而且FLOPs还减少了10倍以上。
而在更大的输入分辨率312和更长的持续时间40×3下，MaskFeat在K600上实现了88.3%的top-1准确率，在K700上实现了80.4%的top-1准确率。
于是，MaskFeat在没有任何外部监督（如IN-21K和JFT-300M）的情况下，为每个数据集都创造了新的SOTA。
ImageNet-1K数据集
对MaskFeat进行1600个epoch的预训练，在ViT-B上微调100个epoch，在ViT-L上微调50个epoch。
当图像大小为224x224时，MaskFeat与在IN-21K上进行的有监督的预训练相比，在ViT-B上打成了平手，而在ViT-L上直接实现了超越。
当图像大小为384x384时，利用IN-21K的有监督预训练需要用到比MaskFeat多10倍的图像和标注。
通常来说，由于缺乏典型的CNN归纳偏置，ViT模型对数据要求很高，并且需要大规模的监督预训练。而MaskFeat可以在没有外部标记数据的情况下通过解决特征图像修复任务来克服这个问题。
此外，与BEiT相比，MaskFeat只需要计算HOG特征，摆脱了dVAE的tokenizer。而后者在250M DALL-E数据集上引入了额外的预训练阶段，并在mask预测期间引入了不可忽视的推理开销。与MoCo v3和DINO相比，MaskFeat也更准确、更简单。
此处MaskFeat的预训练为300个epoch
随着MAE、MaskFeat等模型的出现，NLP界的制胜武器「Mask-and-Predict」会是CV自监督预训练的下一个标准范式吗？
对此，来自清华大学的知友「谢凌曦」表示：
视觉自监督领域做了这么些年，从最早的生成式学习出发，绕了一圈，又回到生成式学习。到头来，我们发现像素级特征跟各种手工特征、tokenizer、甚至离线预训练网络得到的特征，在作为判断生成图像质量方面，没有本质区别。
也就是说，自监督也许只是把模型和参数调得更适合下游任务，但在「新知识从哪里来」这个问题上，并没有任何实质进展。
参考资料：
https://arxiv.org/pdf/2112.09133.pdf
https://www.zhihu.com/question/506657286/answer/2275700206
本文仅做学术分享，如有侵权，请联系删文。
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
计算机视觉工坊精品课程官网：3dcver.com
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
重磅！计算机视觉工坊-学习交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
扫一扫
76
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
