R2GAN_ Cross-Modal Recipe Retrieval With Generative Adversarial Network

R2GAN_ Cross-Modal Recipe Retrieval With Generative Adversarial Network

解决问题：图像到菜谱检索的目标是搜索相关菜谱，这些菜谱以文本形式描述给定的食物图片作为查询的菜肴的制作过程。与此类似，但方向相反，本文解决的是给定原始图像，根据给定食谱烹饪的可能性对食物图像进行排序，实现跨模态检索。

主要思想：R2GAN网络：两个模态嵌入网络，一个GAN，一个语义分类器。

两个模态嵌入网络提取图像和菜谱文本的嵌入特征。GAN网络：一个生成器和两个判别器，生成器分别生成来源于食物图像和菜谱的图像，判别器D1猜测真实和假的图像，作为公共预测；D2预测嵌入的来源，来源于图像和食谱嵌入中的哪一个。语义分类器将两个嵌入特征进行分类，查找最近邻。

创新点：将GAN用于菜谱检索。使用两个判别器共同学习兼容的嵌入和可解释的缩略图。并同时兼顾语义相关性。