【论文推荐】了解《多模态预训练》必看的6篇论文【附打包下载地址】

论文推荐

“SFFAI101期来自来自微软高级研究员甘哲推荐的文章主要关注于多模态预训练领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI101"获取本主题精选论文

01

推荐理由：这两篇论文都是第一批关于多模态预训练模型的工作。

02

推荐理由：比较经典的关于多模态预训练的工作，截至论文发表，在13个多模态数据集和任务上取得state-of-the-art的结果。

03

推荐理由：ECCV 2020 Spotlight论文，详细分析了多模态预训练模型学到了什么。

04

推荐理由：NeurIPS 2020 Spotlight论文，使用对抗训练的方法提高预训练模型的效果。

05

推荐理由：如何评测和提高多模态预训练模型的鲁棒性，在7个关于VQA鲁棒性的任务中取得state-of-the-art的结果。

会议内容

讲者介绍

甘哲，微软高级研究员，主要研究方向为多模态预训练，2010年和2013年获得北京大学本科和硕士学位，2018年获得杜克大学博士学位。曾担任，或正在担任NeurIPS 2021/2020/2019, ICML 2021, ICLR 2021, AAAI 2021/2020，以及ACL 2021的领域主席。

会议题目

多模态预训练的最新进展

会议摘要

随着OpenAI CLIP和DALL-E等模型的相继出现，多模态预训练成为一个日益热门的研究方向。在本次的talk中，我将分享我们组在这个领域上最近发表在ECCV 2020和NeurIPS 2020的几个工作。我将具体讨论如下主题。第一，如何实现多模态预训练？第二，如何理解预训练模型学到了什么？第三，如何提高预训练模型的效果？对抗训练能否达到这样的目的？第四，如何评测和提高预训练模型的鲁棒性？

会议亮点

1、UNITER：如何实现多模态预训练？ECCV 2020；

2、VALUE：如何理解预训练模型学到了什么？ECCV 2020 Spotlight；

3、VILLA：如何提高预训练模型的效果？NeurIPS 2020 Spotlight；

4、MANGO：如果评测预训练模型的鲁棒性？Ongoing work (arXiv preprint) 。

直播时间

2021年4月4日（周日）线上直播

关注本公众号，对话框回复“SFFAI101”，获取入群二维码

注：直播地址会分享在交流群内

SFFAI招募！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。

论文推荐

• 《优化算法》论文推荐
  

• 《数据扩增》论文推荐
  

• 《模型架构设计》论文推荐
  

• 《三维点云检测》论文推荐
  

• 《目标检测》论文推荐
  

• 《因果推理与机器学习》论文推荐
  

• 《人脸生成》 论文推荐
  

• 《知识图谱》论文推荐
  

• 《组合泛化》论文推荐

• 《超分辨率》论文推荐

• 《三维几何学习》论文推荐

• 《对话生成》论文推荐

• 《异构网络挖掘》论文推荐

• 《计算几何》高林老师工作推荐

• 《句法分析&情感分析》论文推荐

更多论文推荐历史文章

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！