【论文笔记】data2vec: A General Framework for Self-supervised Learning in Speech,Vision and Language

论文标题：data2vec: A General Framework for Self-supervised Learning in Speech,Vision and Language

论文地址：https://arxiv.org/abs/2202.03555

论文代码：https://github.com/pytorch/fairseq/tree/main/examples/data2vec

发表时间： 2022年2月

针对三种模态Images、Speech、Language，都进行Transformer，并使用自蒸馏进行模型压缩，预测Mask。

实现把不同模态的自监督表示学习统一起来，这份工作或许预示着——多模态的新时代，即将到来。

Abstract

虽然自监督学习的总体思想在各种模式中是相同的，但实际的算法和目标却大相径庭，因为它们是在考虑单一模式的情况下开发的。为了让我们更接近一般的自我监督学习，我们提出了data2vec，这是一个对语音、NLP或计算机视觉使用相同学习方法的框架。

核心思想是使用标准的Transformer 架构，在self-distillation（自蒸馏）设置中基于输入的掩码视图来预测完整输入数据的潜在表示。

data2vec 不是预测特定于模态的目标，例如本质上是本地的单词、视觉标记或人类语音单元，而是预测包含来自整个输入的信息的上下文化潜在表示。对语音识别、图像分类和自然语言理解的主要基准的实验证明了一种新的艺术状态或对主要方法的竞争性能。

Method

多模态学习，针对Images、Speech、Language三种模态的数据，

进行编码：

Images：使用ViT 将图像编码为一系列补丁，每个补丁跨越 16x16 像素，输入到线性变换

Speech：使用多层一维卷积神经网络进行编码，该网络将 16 kHz 波形映射到 50 Hz 表示

Language：以BERT为基础，重新实现RoBERTa，然后通过学习的嵌入向量嵌入到分布空间中

以此为original input构建teacher-mode

进行掩码：

Images：BEiT的block-wise masking strategy，将遮盖比率提高到60%

Speech：与wav2vec的遮蔽方式相同

Language：使用BERT的masking strategy

以此构建student-mode

架构如图：

该模型被训练以基于掩蔽样本的编码来预测原始未掩蔽训练样本的模型表示

teacher-mode监督student-mode进行训练，并且参数共享

Experiments

Computer vision：

实验任务：Image Classification

实验结果： 效果目前最好，超过MAE

Speech processing：

实验任务：Automatic Speech Recognition

实验结果：改进明显

Natural language processing：

实验任务：GLUE

实验结果：在文本模态上的改进效果仍然有限，但是这个分数也非常好了

写在最后

也许，在表示空间中而非输入空间中进行掩码预测的自监督表示学习，是自监督未来的重要方向！