![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
跨模态检索
xc__
这个作者很懒,什么都没留下…
展开
-
跨模态检索Coupled CycleGAN: Unsupervised Hashing Network for Cross-Modal Retrieval
核心思想 本论文是无监督方法,主要由两层循环对抗网络构成,外层的循环对抗网络主要是使不同模态提取更有代表性的公共特征向量,内层循环对抗网络使学的高质量的哈希编码。 外层循环对抗网络: 过程描述:图像通过卷积提取特征作为FrealIF_{real}^IFrealI,然后通过生成器GfI−>TG_f^{I->T}GfI−>T(是一个encode->decode...原创 2020-02-27 17:57:25 · 1911 阅读 · 3 评论 -
跨模态检索CM-GANs: Cross-modal Generative AdversarialNetworks for Common Representation Learning
核心思想: 这篇论文主要是通过对抗训练文本和图像,是它们学习到共同的特征表示。本论文由四个对抗训练过程组成(详细看损失函数)。图像自身的对抗网络,文本自身的对抗网络,图像对文本的对抗网络、文本对图像的对抗网络。 图像自身的对抗网络:通过图像卷积学习到到特征向量(不是最终的特征表示,论文中为hi),作为真实数据,重建(也就是decode过程)的特征向量(论文中为ri)作为假数据,来构建对...原创 2020-02-27 17:37:41 · 1328 阅读 · 0 评论 -
多模态检索Deep Cross-Modal Hashing
什么是多模态检索? 现实生活中常有图搜图,文本搜文本,视频搜视频的应用,这些都是单模态检索。多模态检索就是,不同类别之间的搜索,比如用文本搜图,用图搜文本等,这类情况称为多模态检索。 这篇论文的意义? 传统的都是手动提取特征方法,这篇论文将特征提取和二进制码生成一起构成一个端到端的学习过程。 贡献 提出了一个端到端的学习框架 直接离散优化生成二进制编码 实验证明效果很好 网...原创 2020-02-27 17:24:33 · 8958 阅读 · 9 评论