He_YI的博客

一、前言1.论文要解决的问题：输入： MSCOCO，Flickr30K输出： image to text （text to image）:rank2, 本文的方法创新：提出了一种新的计算loss的方案，主要针对与hard negtive,加大样本与hard negtive 的距离二、论文方法Embedding1) 图像采用VGG19或者ResNet152进行特征提取2) 文本描...

提问要解决什么问题：   现有的基于DNN的跨模态检索仅仅关注于保持配对的跨模态数据集的成对相似性，这些数据共享语义标签并且在模型学习的过程中充当输入，然而一个模态的一项数据可能存在语义不同的数据项，所以仅仅关注成对项是远远不够的用什么方法解决？   提出了一种基于对抗训练的跨模态搜索ACMR( Adversarial Cross-Modal Retriviel), Adversari...

A Comprehensive Survey on Cross-modal Retrieval1、Introduction什么是跨模态检索(cross-modal retrieval)?通常不同的数据模式会用来描述相同的主题或者事件，例如，一个网页不仅包含文字叙述，还包含用于说明共同内容的图像或者视频，这种类型的数据称为多模态数据(multi-moddal data)，其具有异构性(het...

ps:这篇文章和A New Approach to Cross-Modal Multimedia Retrieval 是同一个组针对同类问题写的，就一起看了0、Pre-work提出了什么问题： 怎样解决: 达到的效果: 还存在的问题(或后期工作): ...