#今日论文推荐# CVPR 2022 | FAIR提出MaskFeat：自监督视觉预训练新方法,灵感之一来自16年前CVPR论文

#今日论文推荐# CVPR 2022 | FAIR提出MaskFeat：自监督视觉预训练新方法,灵感之一来自16年前CVPR论文

简而言之，MaskFeat的ViT-B在ImageNet 1K上的准确率达到了84.0%，MViT-L在Kinetics-400上的准确率达到了86.7%，成功地超越了BEiT等方法。

一作Chen Wei是约翰·霍普金斯大学的计算机科学博士生，此前在北京大学获得了计算机科学学士学位。

并曾在FAIR、谷歌和华为诺亚方舟实验室实习，主要研究方向是视觉自监督学习。

「Mask-and-Predict」总要有个可以「Predict」的特征来让模型学习到东西。

MaskFeat最核心的改变就是将MAE对图像像素（pixel）的直接预测，替换成对图像的方向梯度直方图（HOG）的预测。

说到HOG，这可不是什么新鲜玩意儿。

HOG是一种经典的图像特征提取算法，发表于2005年的CVPR，到现在已经收获了37000+的引用。

论文题目：Masked Feature Prediction for Self-Supervised Visual Pre-Training
详细解读：https://www.aminer.cn/research_report/62a2b1327cb68b460fcecfd3?download=falsehttps://www.aminer.cn/research_report/62a2b1327cb68b460fcecfd3?download=false
AMiner链接：https://www.aminer.cn/?f=cs