LXMERT 实验

论文: Learning Cross-Modality Encoder Representations from Transformers 

地址:https://arxiv.org/abs/1908.07490?context=cs

code:https://github.com/airsplay/lxmert

 

LXMERT 框架来学习语言和视觉的联系

创新点:创造新的跨模态模型,着重于学习视觉和语言的交互作用。

 

  • Input Embeddings

在LXMERT中的输入编码层将输入(即图像和句子)转换为两个特征序列:词级句子嵌入和对象级图像嵌入。

这些嵌入特性将由后面的编码层进一步处理。

 

  • 它含有3个Encoder:一个对象关系编码器 N_R 、一个语言编码器 N_L 和一个跨模态编码器 N_X

 

 

  • 它使用了 5 个不同的有代表性的pre-train任务:
  1. 掩码交叉模态语言建模
  2. 通过ROI特征回归进行掩码目标预测
  3. 通过检测到的标签分类进行掩蔽目标预测
  4. 交叉模态匹配
  5. 图像问题解答

这些多模态pre-train既可以帮助学习同一个模态内的联系,也可以帮助学习跨模态的联系。

 

Fine Tune

https://www.jianshu.com/p/4b17dcc199e1

Google Bert模型

https://zhuanlan.zhihu.com/p/46652512

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值