![](https://img-blog.csdnimg.cn/20200529120147974.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
看的文章
文章平均质量分 55
看的文章
hatake.18
这个作者很懒,什么都没留下…
展开
-
跨模态检索相关文章
[Adaptive Offline Quintuplet Loss for Image-Text Matching][ECCV 2020]摘要 :文章提出了一种新的五元组损失[IMRAM: Iterative Matching with Recurrent Attention Memory for Cross-Modal Image-Text Retrieval∗arXiv:2003.03772v1][ECCV 2020]摘要 :...原创 2020-07-28 11:10:37 · 405 阅读 · 0 评论 -
【论文笔记】Saliency-Guided Attention Network for Image-Sentence Matching
项目场景:提示:这里简述项目相关背景:例如:项目场景:示例:通过蓝牙芯片(HC-05)与手机 APP 通信,每隔 5s 传输一批传感器数据(不是很大)问题描述:提示:这里描述项目中遇到的问题:例如:数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据APP 中接收数据代码:@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obta原创 2020-10-15 14:34:39 · 930 阅读 · 0 评论 -
多模态数据集预处理方法
摘要对文本是单个词语的一般采用词袋特征图片可以采用多种灵活的处理方式对文本是句子甚至是段落的则需要采用较为复杂的处理方式,参考文献[1-2]中对Wiki和Pascal Sentence数据集的处理方式Wiki参考文献[1] Wang D, Gao X, Wang X, et al. Multimodal discriminative binary embedding for large-scale cross-modal retrieval[J]. IEEE Transactions on I原创 2020-06-13 22:32:40 · 2724 阅读 · 0 评论 -
【论文笔记】FashionBERT: Text and Image Matching with Adaptive Loss for Cross-modal Retrieval
文章来源:SIGIR’20摘要文章基于BERT提出了一个跨模态检索模型,该模型并不是一个通用的检索模型,主要用于电商领域时尚用品(Fashon)检索,作者是阿里巴巴。框架图文章框架和之前基于transformer的文章网络架构大致相同,输入输入文本和图片,对文本取token对图片取patch输出[CLS]用来判断文本和图片是否对齐训练任务遮挡图片(文本)预测图片(文本),预测文本和图片是否匹配Whole Word Masking (WWM)BERT会对输入的文本进行wordpiec原创 2020-06-06 16:06:54 · 1701 阅读 · 0 评论 -
【论文笔记】Creating Something from Nothing: Unsupervised Knowledge Distillation for Cross-Modal Hashing
文章链接:https://arxiv.org/abs/2004.00280这篇文章想法比较有意思,基于知识蒸馏(Knowledge Distillation),采用一个无监督算法的输出信息,来指导一个有监督算法。文章中无监督算法采用UGACH(Unsupervised Generative Adversarial Cross-Modal Hashing),监督算法采用DCMH(Deep Cross-Modal Hashing),无监督算法的输出信息为相似性矩阵Si,jS_{i,j}Si,j,算法模型图原创 2020-05-29 12:04:55 · 785 阅读 · 0 评论 -
【论文笔记】Unsupervised Generative Adversarial Cross-Modal Hashing
Pipeline文章基于GAN网络,提出一种无监督跨模态检索算法,算法框架图如下网络接收原始文本和图片作为输入,采用神经网络分别提取特征文本和图片特征,生成器生成器采用两路网络,分别接收上面提取到的文本和图片特征向量,后面接两个全连接层,一层用于将特征向量映射到公共空间,一层用于生成哈希码。给定某个模态中的查询样例,生成器目的在于拟合Manifold Pairs的分布,从另一个模态的样例中找到和查询样例相关的样例。相关程度采用下面的概率判断pθ(xU∣q)=exp(−∥h(q)−h(xU)∥原创 2020-05-29 10:45:28 · 644 阅读 · 1 评论