本文提出了一种双路径卷积图像-文本嵌入方法，旨在解决实例级别的图文检索问题。通过将每张图像视为一类，并结合图像和与其相关的文本描述进行训练，网络能够在细粒度级别上学习到区分性的特征。文章使用了TextCNN结构，避免了传统LSTM，并通过实例损失函数实现无监督学习。实验表明，这种方法在Flickr30k和MSCOCO数据集上表现出色。
[Title]：Dual-Path Convolutional Image-Text Embedding
[arXiv]：http://cn.arxiv.org/abs/1711.05535
[Code]：layumi/Image-Text-Embedding
[Motivation]：
在这篇文章中我们尝试了 用CNN分类113,287类图像(MSCOCO)。
-
实际上我们将每张训练集中的图像认为成一类。（当然, 如果只用一张图像一类，CNN肯定会过拟合）。同时，我们利用了5句图像描述(文本)，加入了训练。所以每一类相当于 有6个样本 （1张图像+5句描述）。
-
文章想解决的问题是instance-level的retrieval，也就是说 如果你在5000张图的image pool中，要找“一个穿蓝色衣服的金发女郎在打车。” 实际上你只有一个正确答案。不像class-level 或category-level的 要找“女性“可能有很多个正确答案。所以这个问题更细粒度，也更需要detail的视觉和文本特征。
-
同时我们又观察到好多之前的工作都直接使用 class-level的 ImageNet pretrained 网络。但这些网络实际上损失了信息（数量/颜色/位置）。以下三张图在imagenet中可能都会使用Dog的标签，而事实上我们可以用自然语言给出更精准的描述。也就是我们这篇论文所要解决的问题（instance-level的图文互搜）。
[Related Work]:
可以click一下我之前的这个回答，还有学长的回答。
最低0.47元/天 解锁文章
扫一扫
1551
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
