【论文阅读】句向量总结、文本相似度计算

最新推荐文章于 2024-03-22 09:44:52 发布
VIP文章 最新推荐文章于 2024-03-22 09:44:52 发布
阅读量2.5k 收藏 17
点赞数 2
分类专栏： 论文阅读 文章标签： 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li_jiaoyang/article/details/116230828
版权

句向量

不定长的句子用定长的向量表示，为NLP下游任务提供服务。
对于word embedding，训练完以后每个词对应一个向量，可以直观地判断embedding的好坏。
但是，对于sentence embedding，它的评测是没有ground truth的。只能将sentence embedding送入下游任务，根据在下游任务的表现来评测其质量。
换句话说，其实不存在单独的sentence embedding算法，只有嵌入在NLP系统中的sentence embedding模块。

应用

  • 语义搜索：通过句向量相似性，检索语料库中与query最匹配的文本
  • 文本聚类：文本转为定长向量，通过聚类模型可无监督聚集相似文本
  • 文本分类：表示成句向量，直接用简单分类器即训练文本分类器
问答系统

在这里插入图片描述

对话系统

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3JLCqTFA-1619582897695)(/Users/didi/Library/Application Support/typora-user-images/image-20210428115444006.png)]

信息检索匹配

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vGfpUaQR-1619582897696)(/Users/didi/Library/Application Support/typora-user-images/image-20210428115457033.png)]

脉络

NLP获得句向量的方式可大致分为两种：

  1. 从词向量间接获取句向量

早期使用one-hot表示词，使用词袋表示文本，TF-IDF引入了单词的频率，上述方法可以归结为基于统计的词袋模型。2017年SIF算法提出用平滑倒词频获取所有词的权重，随后抹去共现信息。基于词向量获取句向量的方法，计算简便快速，却忽略了词本身的含义、词序对句子的影响。

  1. 直接获取句向量

2013年，Mikolov提出了word2vec模型，其中包含CBOW和skip-gram模型，掀开了词向量表达的新篇章。2014年，Mikolov又提出了Doc2Vec，借鉴word2vec模型的思想，包含PV-DM和PV-DBOW结构。2015年，基于skip-gram思想的skip-thought模型问世，模型根据输入句，预测其上下文，产生句向量副产物。2018年，quick-thought改进了skip-thought训练慢的问题，将

最低0.47元/天 解锁文章
今天NLP了吗
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SIF词向量相似度计算的一种方法
12-12
SIF：一种简单但是有效的词向量计算余弦相似度的方法，利用了tfidf等知识。
心法利器[7] | 漫谈语义相似度与语义向量表征
baidu_25854831的博客
11-08 673
【前沿重器】全新栏目，本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。往期回顾心法利器[2] | 统计语言模型使用反...
探索SimCSE：无监督句子表示学习的新范式
最新发布
gitblog_00070的博客
03-22 344
探索SimCSE：无监督句子表示学习的新范式 项目地址:https://gitcode.com/princeton-nlp/SimCSE 项目简介 SimCSE 是普林斯顿大学自然语言处理团队推出的一个开源项目，它主要致力于实现无监督的句子相似性学习。该项目基于Transformer架构的预训练模型，如BERT或RoBERTa，通过对比学习（Contrastive Learning）方法，无需依赖...
计算句子向量相似度：SentenceBert和SimCSE
smartcat2010的博客
02-23 1067
Sentence Bert；SimCSE；
语义相似度、句向量生成超强模型之SBERT《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》
热门推荐
Lisen’s blog
05-09 2万+
1 前言 随着18年底Bert的面世，NLP进入了预训练模型的时代。各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。而解决聚类和语义搜索的一种常见方法是将每个句子映射到一个向量空间，使得语义相似的句子很接近。说到这，可能有的人会尝试将整个句子输入预训练模型中，得到该句的句向量，然后作为句子的句向量表示。但是这样得到的句向量真的好吗？在论文《Sentence-BER
bert中文短文本句向量生成、相似度计算(GPU版、windows、win10、linux、django和flask可用)
大漠帝国的博客
05-12 7877
BERT句向量GPU线上调用等。出现Floating point exception and SystemError: error return without exception set 。 最近上线需要用到bert，走过了很多坑，有的甚至是不知道怎么回事，而且也很容易从解决一个问题，跳到另外一个问题，巨坑呀有木有。https://github.com/hanx...
如何计算句子相似度？
向人工智能和机器学习出发的博客
07-31 2863
句子相似度的计算方法有： 1.欧氏距离：多维空间两个点的绝对距离 2.余弦相似度：用两个向量的夹角的余弦值来衡量相似度，首先对句子做embedding再计算两个句子或文本的相似度，更注重方 向上的差异 3.TF-IDF：从词频率的角度出发计算一个词在一个文档和所有文档的频率 4.doc2vec,word2vec：用来创建词向量的模型，doc2vec是word2vec的扩展，可以计算单个词...
文本向量化-计算文本相似的的方法-基于python语言的实现
sunny的博客
11-23 5797
本节主要讨论三种方法实现中文文本的向量化，编程环境python3.6. TF 词频的方法 TFIDF 词频-逆文档频率 Word2Vec 第一种TF方式，即是基于词频的方式，举一个最简单的例子： 1：今天天气不错！ 2：今天天气很好。 针对英文，我们可以直接跑程序，计算文本向量，英文单词都是以空格分割好的，但是对于中文，我们需要进行如下的几个处理步骤，分词、去停用词（使用在word2vec里，
python文本向量化对比词的相似度
技术无止境，人生仍探索。
06-05 887
文本向量化 创建一个目录，并创建data文件夹 安装依赖 pip install gensim 下载数据集 数据集大概1.2G，下载完成后放在data文件夹下 数据预处理 创建数据预处理文件 data_pre_process.py # -*- coding: utf-8 -*- from gensim.corpora import WikiCorpus import jieba from langconv import * def my_function(): space = ' ' i
NLP-文本向量训练及相似度计算
djx1085213329的博客
11-23 2241
目录一、准备语料库二、代码1.词向量的训练及词语相似度2.段落向量的训练及文档相似度3.word2vec计算网页相似度4.doc2vec计算网页相似度 一、准备语料库 首先下载wiki中文语料（大约1.7G） https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 下载的文件名为“zhwiki-latest-pages-articles.xml.bz2” 开源语料库 https://github.com/b
BERT句向量(一)：Sentence-BERT
sgyuanshi的博客
04-26 1万+
前言 句向量：能够表征整个句子语义的向量，目前效果比较好的方法还是通过bert模型结构来实现，也是本文的主题。 有了句向量，我们可以用来进行聚类，处理大规模的文本相似度比较，或者基于语义搜索的信息检索。 例如搜索系统中的输入query和匹配文档document、Q&A任务的问题和答案等等，都可以转化为计算两个句子的语义相似/相关度，相关度最高的n个作为模型的返回结果。 题外话 这种类似的模型一般称为passage retrieval models，即段落检索，有两个代表： sparse model
论文研究-基于词汇语义信息的文本相似度计算.pdf
07-22
传统的文本相似度计算大多基于词匹配的方法，忽略了词汇语义信息，计算结果很大程度上取决于文本的词汇重复率。虽然分布式词向量可以有效表达词汇语义关系，但目前基于词向量的文本处理方法大多通过词汇串联等形式...
论文研究-基于VSM的文本相似度计算的研究.pdf
07-22
文本相似度的计算作为其他文本信息处理的基础和关键，其计算准确率和效率直接影响其他文本信息处理的结果。提出改进的DF算法和TDIDF算法，一方面利用了DF算法具有线性的时间复杂度，比较适合大规模文本处理的特点...
基于向量空间模型的中文文本相似度的研究
01-27
本文首先讨论了文本相似度的概念和常用计算算法，详细介绍了向量空间模型和算法步骤，采用删除去除词表、近义词合并、修改文件长度3中策略对算法进行了改进。最后借助盘古分词组件和搜狗实验室的互联网词库，在...
论文研究-基于公共子串的文本相似度计算模型 .pdf
08-16
基于公共子串的文本相似度计算模型，苏振魁，田园，为了克服现有文本相似度计算模型过多关注词频，而较少关注词语在文本中出现顺序的缺点，本文在基于向量空间模型的基础上，提出了
论文研究-基于语义分析树核的多特征句子相似度计算 .pdf
08-15
基于语义分析树核的多特征句子相似度计算，王利局，黄德根，本文提出语义分析树核的多特征相似度计算方法，该方法分别从句法特征、单词语义特征和词特征三个方面来计算两个句子的相似度。句
【论文阅读】Joint Entity and Relation Extraction with Set Prediction Networks
li_jiaoyang的博客
01-16 3003
作者提供的代码链接404了，https://github.com/DianboWork/SPN4RE 目前在NYT和WebNLG上都是SOTA https://paperswithcode.com/task/relation-extraction 1.编码器 用bert 2.三元组非自回归解码器 PL代表句子可能包含的三元组个数，论文中统一设置为m个，m大于所有句子包含的三元组个数。 代表某个三元组Yi，不仅和给定的句子X有关系，而且与其他某个三元组Yj有关系。 使用transformer作为解码.
SCIERC数据集解析
li_jiaoyang的博客
12-20 2611
数据集样例 六种实体类型 Task, Method, Metric,Material, Other-ScientificTerm and Generic 七种关系类型 Compare, Part-of, Conjunction, Evaluate-for, Feature-of, Used-for, HyponymOf { "clusters": [ [ [ 6, 11 ], [ 21,
如何计算中文文本蕴含关系？
09-18
### 回答1： 中文文本蕴含关系计算是一种自然语言处理技术，其目的是通过分析两个中文文本之间的语义关系，判断它们之间是否具有逻辑上的蕴含关系。这个问题涉及到自然语言处理技术，可以通过词向量模型、分类模型等方法来进行计算。详细的计算方法可以查阅相关的研究论文和技术资料。 ### 回答2： 计算中文文本蕴含关系是指确定一个中文文本是否能够从另一个中文文本中推断出来。以下是计算中文文本蕴含关系的一般步骤： 1. 分词：首先对两个中文文本进行分词处理，将它们拆解成一个个的词语或短语。可以使用中文分词工具，如jieba分词等。 2. 特征提取：根据分词结果，提取文本的特征。一种常用的特征表示方法是使用词袋模型，将文本表示为一个向量，其中向量的每个维度对应一个词语，其值代表该词语在文本中出现的频率。 3. 特征转换：对提取的特征进行转换，将其转换为一个可计算的形式。可以使用词嵌入模型，如Word2Vec、BERT等，将文本中的每个词语转换为一个向量表示。 4. 计算相似度：使用相似度计算方法，如余弦相似度、欧几里德距离等，计算两个文本之间的相似度。相似度越高，表示两个文本之间的蕴含关系可能性越大。 5. 判定蕴含关系：设定一个阈值，如果计算得到的相似度超过该阈值，则认为两个文本之间存在蕴含关系；否则，认为两个文本之间不具备蕴含关系。 需要注意的是，计算中文文本蕴含关系是一个复杂的任务，涉及到语义理解和推理等高级语言处理技术。目前已经有一些专门用于判断文本蕴含关系的深度学习模型，如ESIM、BIMPM等，可以使用这些模型进行更准确的计算。 ### 回答3： 计算中文文本的蕴含关系是一项复杂的任务，需要结合语义理解和自然语言处理的技术。以下是一些方法和步骤： 1. 文本预处理：将中文文本进行分词、词性标注和句法分析，以获取单词和句法结构信息。 2. 特征提取：根据所选任务和模型，选择合适的特征表示方法，如词向量或句向量。可以使用预训练的词向量模型，如word2vec或BERT，来获取词语的语义信息。 3. 模型选择：选择适合的蕴含关系计算模型，例如基于规则的模型、基于统计的模型或基于深度学习的模型。常用的深度学习模型有循环神经网络（RNN）、长短时记忆网络（LSTM）和注意力机制等。 4. 训练和调优：使用已标注的文本蕴含关系数据对模型进行训练，并进行参数调优，以提高模型的性能。 5. 预测和评估：使用训练好的模型对未见过的文本对进行预测，判断文本对之间的蕴含关系。可以使用各种指标（如准确率、召回率和F1值）对模型进行评估和比较。 需要注意的是，由于中文的语言复杂性和歧义性，计算中文文本蕴含关系的任务相对于其他语言可能更加困难。因此，可能需要更多的训练数据和更复杂的模型来处理中文文本的蕴含关系。此外，对于某些特定领域或语境的文本，可能还需要进行特定领域的模型训练和定制化处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值