- 博客(11)
- 收藏
- 关注
RSS订阅原创 2020SIGIR：JDSH
解决问题：现有的方法通常有两个限制 :(1)他们通常单独 或以冗余融合的方 式学习跨模态相似 信息，这可能无法 充分有效地捕捉不 同模态实例之间的 语义相关性。(2) 他们很少考虑无监 督跨模态哈希的采 样和加权方案，导 致哈希码缺乏令人 满意的鉴别能力。做法：首先，我们提出了一种新的跨模态联合训练方法，通过构造一 个联合模态相似矩阵来充分保留实例间的跨模态语义相关性。其次,我们提出了一种无监督跨模态哈希的采 样和加权方案， 称为基于分布的相似性决策和加权...
2022-03-17 20:52:47
3676
原创 2018ECCV：Attention-Aware Deep Adversarial Hashing for Cross-Modal Retrieval 论文笔记
0.摘要由于多模态数据的快速增长，跨模态检索的哈希方法受到了广泛的关注。然而，由于存在异质性差异，在不同数据模式之间寻找内容相似性仍然具有挑战性。为了进一步解决这个问题，我们提出了一个带有注意机制的对抗性哈希网络，通过选择性地关注多模态数据的信息部分，来增强内容相似性的测量。提出的新的深层对抗网络包括三个构建模块:(1)特征学习模块获取特征表征;(2)用于生成注意掩码的注意模块，该注意掩码用于将特征表示分为注意特征表征和无注意特征表征(3)哈希模块学习保持不同模态之间相似性的哈希函数。在...
2021-11-23 22:09:03
1905
原创 dataframe的索引，iloc之后还是dataframe
Pandas中DataFrame索引、选取数据_Fantine_Deng的博客-CSDN博客
2021-11-18 21:31:36
920
原创 Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers （2021 CVPR）
0.摘要我们的目标是基于语言的大规模图像和视频数据集搜索。对于这个任务，由文本和视觉独立映射到联合嵌入空间的方法，即双编码器，是具有吸引力的检索方法并且是非常高效的对于数十亿的图像使用近似最近邻搜索。另一种具有交叉注意的视觉文本Transformers的方法，与联合嵌入相比，精度有了相当大的提高，但考虑到测试时每个样品所需的交叉注意机制的成本，在实际中往往不适用于大规模检索。这项工作结合了两方面的优点。我们做出了以下三个贡献。首先，我们为基于Transformers的模型配备了新的细粒度...
2021-11-12 21:53:46
2186
原创 多个三维合并为四维
import numpy as npb = np.random.randint(0,10,size=[110,1000,28,28])print(b.shape)new = b[0]print(new.shape)new = new.reshape([1,1000,28,28])for i in b: i = i.reshape(1,1000,28,28) new = np.concatenate((new,i),axis=0)print(new.shape)c =.
2021-11-11 17:04:32
648
原创 2020 中科院 CVPR : Context-Aware Attention Network for Image-Text Retrieval
摘要跨模态检索主要依赖于图像文本对的联合嵌入学习和相似度度量，以往的研究很少同时考虑模态间的语义联系和单一模态的语义相关性，本方法简称CAAN，通过聚合全局上下文选择性地关注关键片段，即同时利用全局模态间的对齐和单一模态内的联系来挖掘潜在语义关系，考虑图像与句子在检索过程中的相互作用，单一模态内的相关性是由区域-单词对齐的二阶注意度得到的，而不是直观地比较原始特征之间的距离。实验在Flickr30K和MS-COCO上进行。介绍在描述一个目标图像时，人们倾向于经常引...
2021-11-08 22:36:58
4263
1
原创 卷积层，池化层，通道数，平整化
有多少卷积核就有多少层的特征图，也就是多少的通道数卷积层提取特征池化层下采样，使之后计算变少2*2*2 经过Flatten之后变为8*1（顺序拉开，从左到右，从上到下）
2021-11-08 16:29:06
2085
原创 feature map大小计算
featuremap_size = (image_size-kernel_size+2*padsize)/stride+1例如：padsize =0stride =1image_size = 6kernel_size = 3featuremap_size = (6-3+2*0)/1+1 =4
2021-11-08 14:54:11
357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人