NIPS 2017论文解读 | 基于对比学习的Image Captioning

在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。

在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。

点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。

这是 PaperDaily 的第 45 篇文章

本期推荐的论文笔记来自 PaperWeekly 社区用户 @jamiechoi。本文提出了一种将对比学习（CL）用于 Image Captioning 的方法，通过在参考模型上设立两个约束，鼓励独特性，从而提高标记质量。

如果你对本文工作感兴趣，点击底部的阅读原文即可查看原论文。

关于作者：蔡文杰，华南理工大学硕士生，研究方向为Image Caption。

■ 论文 | Contrastive Learning for Image Captioning

■ 链接 | https://www.paperweekly.site/papers/1344

■ 源码 | https://github.com/doubledaibo/clcaption_nips2017

论文动机

本文提出的 Contrastive Learning (CL) 主要是为了解决 Image Caption 任务中生成的 Caption 缺少 Distinctiveness 的问题。 

这里的 Distinctiveness 可以理解为独特性，指的是对于不同的图片，其 caption 也应该是独特的、易于区分的。即在所有图片中，这个 caption 与这幅图片的匹配度是最高的。