![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp论文阅读
文章平均质量分 92
沐花月
这个作者很懒,什么都没留下…
展开
-
《读论文系列 图文检索(将对象关系属性建模为图,计算相似度) GSMN》Graph Structured Network for Image-Text Matching
GSMN将对象、关系、和属性建模为一个结构化短语,学习到对象、关系和属性的对应关系。节点级匹配:将每个节点与其来自另一模态的相关节点关联。结构级匹配:融合关联领域,关联节点,共同推断出细粒度的对应关系。全局对应学习方法:将整个图像和文本投影到一个共同的潜在空间,可以将文本和图像统一为相似的表示。目标:最大化匹配的图像-文本对的相似性局部对应学习方法:学习局部区域与单词的对应关系。(1)由于关系和属性的对应关系被对象对应关系所淹没,很难学习到它们的对应关系。原创 2023-10-17 18:41:30 · 228 阅读 · 0 评论 -
《读论文系列 图文检索 双编码器架构 VisualSparta》 An Embarrassingly Simple Approach
现有的文本到图像检索模型可以大致分为两类:查询不可知模型和查询依赖模型。双编码器架构是一种常见的查询无关模型,它使用两个编码器对查询和图像进行编码,然后通过内积计算相似性。转换器架构:每对文本和图像通过连接并传递到一个网络中进行编码,而不是由两个单独的编码器进行编码。本文贡献:(1)提出了一种新的检索模型,该模型在MSCOCO和Flickr 30K两个基准数据集上获得了最新的检索结果。(2)加权词袋是跨模态检索的一种有效表示,可以有效地索引到倒排索引中,从而实现快速检索。原创 2023-10-16 12:40:46 · 161 阅读 · 1 评论 -
《读论文系列 图文检索 计算各个样本相似性 TGDT》Efficient Token-Guided Image-Text Retrieval
图像-文本检索包括两个密切相关的任务:文本到图像检索和图像到文本检索。文本到图像检索:旨在从图像候选集中选择与给定文本最匹配的图像。图像到文本检索:试图在文本候选集中找到最能描述图像的句子。文本-图像检索要做的就是目的是基于图像和文本之间基于内容的语义相似性进行匹配。粗粒度检索只是根据图像和文本的全局表示计算它们之间的全局相似度。原创 2023-10-12 15:32:12 · 420 阅读 · 0 评论 -
《读论文系列》NCI A Neural Corpus Indexer for Document Retrieval
用transformer做文档检索,现有的文档检索解决方案主要关注索引模式。很难针对最终的检索的目标进行优化。本文端到端的深度检索框架可以很大程度的提升检索的性能。为此,本文提出了Neural Corpus Indexer(NCI),一个序列到序列模型,以query作为输入,直接输出相关文档的id。为了优化NCI的召回性能,本文提出了解码器框架,并利用了许多技巧包括查询生成,语义文档标识符,基于一致性的正则。当前存在的问题,提出本文模型,本文模型的创新点,结果表现。原创 2023-09-22 10:43:47 · 439 阅读 · 1 评论