qq2285580599
这个作者很懒,什么都没留下…
展开
-
Probability Weighted Compact Feature for Domain Adaptive Retrieval
摘要这篇文章把以前的domain adaption的工作分为single-domain和cross-domain,然后个人理解,single domian就是源域和目标域区分性其实不大,cross domain就是两者区分很大。前者只需要做一个简单的分类投影,后者则分别需要学习源域和目标域的哈希码,然后进行排序,这样后者就和跨模态检索结合起来了。提出方法贝叶斯的观点 求这几个变量 ...原创 2021-10-16 22:09:13 · 261 阅读 · 0 评论 -
宽度学习(二):基于k-均值聚类算法的特征提取(只讲提取部分)
Motivation1,原创 2021-03-04 20:46:46 · 969 阅读 · 1 评论 -
宽度学习(一):宽度学习体系:有效和高效的无需深度架构的增量学习系统
Motivation深度学习: 1,时间长:由于涉及到大量的超参数和复杂的结构,大多数神经网络的训练过程非常耗时。 2,重新训练:如果要更改神经网络的结构,或者增加样本,深度学习系统将遇到一个完整的重新训练过程。宽度学习: 1,消除了训练过程长的缺点,并且提供了很好的泛化能力。 2,如果网络需要扩展,宽度学习网络可以快速重构,无需重新训练过程。Preliminaries1,RVFLNN ...原创 2021-03-04 17:17:12 · 2203 阅读 · 1 评论 -
自注意力嵌入(一):Learning Fragment Self-Attention Embeddings for Image-Text Matching
Motivation1,现有的策略在测试阶段需要对所有图像-文本对进行两两相似度的计算,且计算方法复杂,在实际应用场景中缺乏效率。(Stacked Cross Attention).2,我们考虑学习嵌入图像和文本,这两种异构数据模式独立投影到联合空间。Framework对于Image Embedding的操作:64 * 36 * 2048 -> 64 * 36 * 256BertAttention: BertSelfAttention: 1,做一个自注意...原创 2021-01-11 15:07:29 · 699 阅读 · 0 评论 -
注意力机制(四):Graph Structured Network for Image-Text Matching
Motivation1,目前已有的方法根据对象共现统计学习粗粒度对应,而不能学习结构化对象、关系和属性的细粒度对应。2,而关系对应和属性对应可以指导细粒度对象对应学习。3,目前的方法大多依赖于突出对象的对应,只学习粗略的对应,而忽略了关系和属性的对应与对象的对应同样重要。Contribution1,我们提出了一种图结构匹配网络,该网络明确地构建了图像和文本的图结构,并通过学习细粒度短语对应进行匹配。2,据我们所知,这是第一个使用图卷积层传播节点对应的工作,并使用它来推断细粒度短语对应原创 2021-01-26 11:44:39 · 612 阅读 · 0 评论 -
注意力机制(三):Position Focused Attention Network for Image-Text Matching
Motivation1,现有的注意机制只关注图像区域的视觉特征,而忽略了图像中的相对位置信息。2,物体在整幅图像中的相对位置是一个重要而有用的线索,Contributions1,我们整合区域的位置信息来研究图像中的物体和句子中的单词之间的对应关系。2,我们提出了一种位置聚焦的注意机制,为图像区域生成有价值的位置特征,位置特征与视觉特征共同构成了对图像区域更可靠、更完整的表达。FrameworkInitial Position Representation ...原创 2021-01-15 21:28:58 · 918 阅读 · 0 评论 -
注意力机制(二):Focus Your Attention: A Bidirectional Focal Attention Network for Image-Text Matching
Motivation1,只有一小部分与共同语义相关的区域或词,如果将它们全部整合在一起,就会干扰目标语义,从而导致语义失调。2,并不是所有的片段都支持特定的共享语义,因为它们中的许多与之无关,如果不相关的片段被聚合,共享语义或多或少会受到干扰。3,如果我们将焦点集中在一个方向上,就会导致对长文本或复杂图像的偏好。这是因为长文本或复杂图像包含更多的信息,从而更有可能得到较高的查询响应。所以我们采用双向度量, 即算出两个方向的相似度,然后进行相加。Framework我们首先为...原创 2021-01-13 21:18:56 · 1127 阅读 · 0 评论 -
注意力机制(一):Stacked Cross Attention for Image-Text Matching
Motivation1,上述研究没有考虑到图像区域和单词层面的潜在视觉语言对应。2,我们将赋予不同权重的图像区域和单词作为推断图像-文本相似性的上下文。Framework我们首先计算所有可能对的余弦相似矩阵 sij表示第i个区域与第j个单词的相似性。 我们根据经验发现,将相似性限制在零是有益的,并且我们将相似矩阵归一化:为了在每个图像区域上关...原创 2020-12-30 09:12:01 · 1360 阅读 · 0 评论 -
深度学习(二):Deep Supervised Cross-modal Retrieval
Deep Supervised Cross-modal Retrieval,CVPR 2019Motivation值得注意的是,即使分类信息已被用于一些深度学习方法,分类信息仅用于学习每一模态内部或模态间的可区分特征。语义信息(语义信息我在这里理解成公共空间到标签的映射)在这些跨模态学习方法中没有得到充分的利用。DSCMR同时最小化模态不变性损失,并采用权值共享策略在公共表示空间中学习模态不变性特征,为了保证学习的表示法在语义结构上具有辨别性,并且在模态间具有不变性,对两两标签信息和分类信息都尽原创 2020-12-07 09:53:28 · 747 阅读 · 0 评论 -
深度学习(一):Deep Cross-Modal Hashing
Deep Cross-Modal HashingMotivation1,非监督:不能很好地克服不同模态的壁垒。2,监督:能好一点克服不同模态的壁垒。3,深度: a,不是人工提取特征,克服壁垒更进一步。 b,几乎所有这些现有的CMH方法都是基于手工制作的特征。这些手工制作的基于特征的方法的一个缺点是特征提取过程独立于哈希代码学习过程,这意 味着手工制作的特征可能不能最优地兼容与哈希代码学习过程。4,大多数现有的CMH方法都是通...原创 2020-12-07 09:52:26 · 1347 阅读 · 0 评论