![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
跨模态检索
文章平均质量分 88
总结了在学习图文跨模态检索过程中学习到的知识点
秃头研究生
秃头女孩读研中
展开
-
NLP(二)——文本表示
接上文继续总结,上篇文章主要总结了文本的一些处理算法,这篇文章主要总结文本如何进行表示。目录一、Word Representation1、单词的表示one hot representation(one hot encoding)2、句子的表示1)boolean方法2)count based representation二、计算两个句子之间的相似度1、欧式距离2、余弦相似度3、tf-idf表示方法三、计算两个单词之间的相似度词向量(Word Em...原创 2022-05-06 09:58:46 · 972 阅读 · 1 评论 -
跨模态检索
目录一、定义二、分类基于特征表示方法基于图文匹配的方法三、相关概念四、相关网络结构五、相关文献一、定义通过一种模态样本来检索具有近似语义的另一种模态样本。 跨模态学习是多模态学习的分支。 跨模态检索训练过程中所有模态的数据都存在,但在测试过程中只有一种模态可用。 挑战:如何度量不同模态数据之间的内容相似性,也称之为异质鸿沟问题。二、分类基于实值表示学习:提升跨模态语义相关性,进而提高跨模态检索准确度。 基于二进制表示学习:提升跨模态图文检索效率,减少原创 2022-04-22 13:56:10 · 7473 阅读 · 0 评论 -
NLP(一)——文本处理
近期在阅读跨模态检索相关论文时,碰到很多处理文本的网络结构以及一些名词不是很了解,通过我的学习现在将这些知识点记录总结。本文中出现的图片来自于我学习的视频截屏:https://www.bilibili.com/video/BV1BR4y1g7LM?p=25&spm_id_from=pageDriver文本处理的流程1、Word Segmentation(分词)分词工具:Jieba分词(常用),SnowNLP,LTP,HanNLP。当jieba本身词库中没有一些我们想要的词组的时候原创 2022-05-03 18:04:33 · 3222 阅读 · 0 评论 -
NLP(三)——语言模型
目录Language ModelUnigramBigramN-gram评估语言模型PerplexitySmoothingAdd-one SmoothingAdd-KSmoothingInterpolationGood-Turning SmoothingLanguage Model语言模型用来判断一句话是否从语法上通顺。UnigramUnigram模型假定各个部分相互独立,此种模型下概率计算会相对简单,但是存在问题:下图中的第二个概率和...原创 2022-05-10 20:59:39 · 2948 阅读 · 0 评论