qq_39400568的博客

Adversarial Attack on Deep Cross-Modal Hamming Retrieval ICCV-20211 Introduction近来，汉明空间的跨模态检索(Cross Modal Hamming Retrieval，CMHR)又到越来越多的关注，这主要得益于深度神经网络出色的表示能力。另一方面，深度网络的脆弱性使深度跨模态检索系统暴露于各种安全风险之下。然而，攻击深度跨模态汉明检索仍未得到充分的探索。所以本文中提出了一种有效的对深度交叉模态汉明检索的对抗性攻击（Adver

Preserving Semantic Neighborhoods for RobustCross-modal Retrieval1 Introduction现存的的跨模态检索方法依赖于各种度量学习损失，这些损失规定了图像和文本在学习空间中的接近程度。然而，大多数先前的方法都集中在图像和文本传达冗余信息的情况下；相比之下，现实世界的图像-文本对传达的互补信息几乎没有重叠。此外，新闻文章和媒体中的图像以视觉上多样化的方式描绘主题；因此，需要特别注意以确保有意义的图像表示。本文提出了新的模态内损失，促使文本

Convolutional Block Attention Module1 Introduction本文提出了卷积块注意模块（Convolutional Block Attention Module，CBAM）， 一个简单而有效的前馈卷积注意力模块神经网络。给定一个中间特征图，本论文的模块设置为沿两个独立的维度按顺序推断注意力图：通道和空间，然后将注意力图与输入特征相乘用于自适应特征细化的映射。 因为CBAM是一种轻量级且 通用模块，它可以集成到任何CNN架构中较少的开销可以忽略不计，并且可以进行端到端

Graph Structured Network for Image-Text Matching1 Introduction图像文本匹配往往只是学习了图像文本对中具有较为粗糙的一致性的内容而忽视了细粒度的细节。本文提出的GSMN网络结构基于节点级别的匹配能够通过融合邻居节点的关联来推到细粒度的一致性。实验显示本方法在Flickr30K和MSCOCO上的Recall@1提升了分别7%和2%。2 Method如上图所示，先提取image和text的特征，然后构建visual和textual图，随后学

Hashing based Efficient Inference for Image-Text Matching （ACL-IJCNLP 2021）​1 Introduction虽然现有的基于注意机制的方法取得了较好的性能，但它们没有考虑到推理效率。具体来说，对于大规模数据库，由于注意机制耗时，在推理过程中，查询（文本/图像）和每个候选数据点（图像/文本）之间执行如此复杂的注意机制是不可接受的。因此，提高这些方法的推理速度是至关重要的。直观地说，如果可以快速选择一个包含positive数据点的小候选

Separated Variational Hashing Networks for Cross-Modal Retrieval ----ACM MM1 Introduction​ 跨模态哈希由于其低存储成本和高查询速度，已成功地应用于多媒体检索应用中的相似性搜索。它将高维数据投影到一个共享的同构哈明空间，具有相似的二进制代码的语义相似数据。在某些应用中，由于某些隐私、秘密、存储限制，以及计算资源限制，可能不能同时获得或训练所有的模式。然而，大多数现有的跨模态哈希方法都需要所有的模式来共同学习公共的汉明

Lightweight Augmented Graph Network Hashing for Scalable Image Retrieval1 Introduction哈希编码旨在将高维数据投影到低维保相似的二进制码中，大大减少数据存储空间的消耗，加快检索过程。由于散列的优点，近年来受到了广泛的关注，并提出了各种大规模图像检索方法。由于无监督深度哈希方法学习哈希函数和哈希码而不需要详细的标注的数据这种依赖，因此它们很好地支持不同规模的图像检索。但是无监督深度哈希难以优化，训练效率低，深度神经网络涉及

Multi-Metrics Graph-Based Unsupervised Domain Adaptation for Cross-Modal Hashing1 Introduction在没有任何标记样本的情况下难以捕获具有区分度的语义特征，使得跨模态表示的缺乏区分性。这是大多数无监督方法不能达到与监督方法相同的检索精确度的主要原因。本文提出以一种如下图所示名为基于图的多矩阵无监督域适应的方法(Multi-Metrics Graph-Based Unsupervised Domain Adaptati