LXMERT 实验

论文： Learning Cross-Modality Encoder Representations from Transformers 

地址：https://arxiv.org/abs/1908.07490?context=cs

code：https://github.com/airsplay/lxmert

 

LXMERT 框架来学习语言和视觉的联系

创新点：创造新的跨模态模型，着重于学习视觉和语言的交互作用。

 

• Input Embeddings

在LXMERT中的输入编码层将输入（即图像和句子）转换为两个特征序列：词级句子嵌入和对象级图像嵌入。

这些嵌入特性将由后面的编码层进一步处理。

 

• 它含有3个Encoder：一个对象关系编码器 N_R 、一个语言编码器 N_L 和一个跨模态编码器 N_X

 

 

• 它使用了 5 个不同的有代表性的pre-train任务：

1. 掩码交叉模态语言建模
2. 通过ROI特征回归进行掩码目标预测
3. 通过检测到的标签分类进行掩蔽目标预测
4. 交叉模态匹配
5. 图像问题解答

这些多模态pre-train既可以帮助学习同一个模态内的联系，也可以帮助学习跨模态的联系。

 

Fine Tune

https://www.jianshu.com/p/4b17dcc199e1

Google Bert模型

https://zhuanlan.zhihu.com/p/46652512