- 博客(6)
- 收藏
- 关注
RSS订阅原创 Learning Semantic Concepts and Order for Image and Sentence Matching笔记
SCO模型阅读笔记论文：Learning Semantic Concepts and Order for Image and Sentence Matching发表会议：CVPR2018作者：一、为什么看？好多关于图像-文本检索的文章，但是大多数都忽略了图像的语义顺序，当语义顺序被忽略时，会造成检索不准确，图像和文本的语义完全相反。看点：图像的语义顺序如何构建应用：于跨模态图像-文本检索二、论文思路图像语义之间存在差距，特别是像素级图像缺乏语义信息。本文提出语义增强图像和句子匹配模型，来通
2020-10-04 21:59:49
2294
3
原创 CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval ICCV-2019 20200925
CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval ICCV-2019 20200925摘要人在进行图文检索的过程，交替注意图像中的区域和句子中的单词，并考虑两种形式之间的相互作用来选择最显著的信息。之前：将图像和文本独立的嵌入空间中计算两者的相似性，没有探索图像和文本之间的交互。本文：1.提出了CAMP，能够自适应地控制跨模态消息传递的信息流。（我的理解是促进正对传递，抑制负对传递）2.不仅采用综
2020-09-25 19:58:37
1298
原创 阅读笔记 IMRAM: Iterative Matching with Recurrent Attention Memory for Cross-Modal Image-Text Retrieval
阅读笔记 IMRAM: Iterative Matching with Recurrent Attention Memory for Cross-Modal Image-Text Retrieval (CVPR 2020)利用attention mechanism 探索细粒度的对应关系问题之前总是考虑全部语义统一的，从而统一的对齐它们；而不考虑语义不同的复杂性，无法体现出那些是关键语义。提出基于重复注意记忆的迭代匹配(IMRAM)多步对比图像-文本之间的对应信息，来逐步探索这种细粒度的对应关系。一
2020-08-21 17:25:33
1375
原创 Stacked Cross Attention for Image-Text Matching (EECV 2018)笔记
Stacked Cross Attention for Image-Text Matching (EECV 2018)碎碎念本文使用了传统的注意力机制学习关注给定语义上下文的图像区域。文章的最终目标是将单词和图像区域映射到一个共同的嵌入空间，以推断整个图像和完整句子之间的相似性。重点是如何应用Stacked Cross Attention对齐图像区域和单词特征。正文文章分为图像-文本匹配和文本图像匹配，之所以不同是因为文章的题目，堆叠交叉注意。。哈哈哈之所以不同，要从模型的思想说起。要找到
2020-08-21 10:03:17
704
原创 Visual Semantic Reasoning for Image-Text Matching Kunpeng(ICCV 2019)笔记
**Visual Semantic Reasoning for Image-Text Matching Kunpeng(ICCV 2019)**目的：本文和其他图像文本匹配的目标一样，通过将两者映射同一嵌入空间，推断出一个完整句子和图像之间的相似度 。但是本文重点改进了图像的表示。解决问题：当前图像表示缺乏与文本对应的全局语义概念？具体内容：找到局部图像区域之间的连接，然后利用GCN进行推理，生成语义关系特征；利用gate和memory机制对上面提出的语义关系特征进行全局的语义推理，选取
2020-08-16 22:54:44
504
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人