Doc Embedding-语义相似度计算

最新推荐文章于 2024-08-03 08:00:00 发布
最新推荐文章于 2024-08-03 08:00:00 发布
阅读量6.1k 收藏 21
点赞数 5
分类专栏： DeepLearning NLP 文章标签： BERT Doc embedding Simase_LSTM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shine19930820/article/details/86032074
版权

文章目录

数据集

公开数据集

英文：

  1. GLUE数据集中的MNLI, QQP, QNLI, STS-B, MRPC, RTE ,[SWAG].
  2. STS基准收集了2012年至2017年国际语义评测SemEval中所有的英语数据。
  3. SICK数据集包含了10000对英语句子，其中的标签说明了它们之间的语义关联和逻辑关系
  4. [SEMEVAL-2012] (http://www.cs.york.ac.uk/semeval-2012/task6/index.php?id=data).语义文本相似度视频描述数据集，每个句子对按照含义的关系标注以及两者的蕴含(entailment)关系标注

中文：

  1. 蚂蚁金服NLP相似度计算数据集：https://dc.cloud.alipay.com/index#/topic/data?id=8
  2. 搜狗实验室数据集。http://www.sogou.com/labs/resource/list_pingce.php

自己构建数据

考虑本身数据集的一些特点，针对表达多样性，语言噪音，同义词，人工标注等，参考数据增强的一些做法。

评估

对于离线，根据构建的离线测试集来评测，指标AUC、F1。

模型

1. Simase_LSTM

2016年SOA方法，AAAI。

参考文献《Siamese Recurrent Architectures for Learning Sentence Similarity》

在这里插入图片描述

贡献

1.提出新的度量方式（基于曼哈顿距离，见细节2）。优于欧几里得距离（梯度消失）、余弦相似度。【回归】

2.以距离为目标，使用LSTM来对复杂的语义建模。

3.使用MaLSTM features输入给SVM来进行分类。【分类】

相似度计算公式

g ( h T a ( a ) , h T b ( b ) ） = e x p ( − ∣ ∣ h T a ( a ) − h T b ( b ) ∣ ∣ 1 ∈ [ 0 , 1 ] g(h_{T_a}^{(a)}, h_{T_b}^{(b)}） = exp( - ||h_{T_a}^{(a)} - h_{T_b}^{(b)} ||_1 \in [0, 1] g(hTa​(a)​,hTb​(b)​）=exp(−∣∣hTa​(a)​−hTb​(b)​∣∣1​∈[0,1]

2. Learning Text Similarity with Siamese Recurrent Networks

《Learning Text Similarity with Siamese Recurrent Networks》

在这里插入图片描述

本文和Siamese Recurrent Architectures for Learning Sentence Similarity类似，有以下改进

  1. 字符级别的char embedding。
  2. 使用双向的LSTM，融合双向的信息。
  3. 对所有lstm的输出做avg pooling，然后全连接映射到128，在做cos相似度计算。

3. CNN+RNN ->RCNN

利用bi-rnn做底层特征提取，上层用cnn做提取局部特征。

  1. Recurrent Convolutional Neural Networks for Text Classification
  2. https://plushunter.github.io/2018/03/08/自然语言处理系列（8）：RCNN/

在这里插入图片描述

4. Attention RNN

参考：https://blog.csdn.net/shine19930820/article/details/83052232

5. BIMPM

  1. Bilateral Multi-Perspective Matching for Natural Language Sentences
  2. http://octopuscoder.github.io/2017/08/06/论文简读-Bilateral-Multi-Perspective-Matching-for-Natural-Language-Sentences/

2017年文章，针对句子匹配的问题，在释义识别、自然语言推断和答案选择三个方面均取得了state-of-the-art水平。

在这里插入图片描述

匹配层是模型的核心层，包含四种匹配策略，分别为：Full-Matching、Maxpooling-Matching、Attentive-Matching和 Max-Attentive-Matching。
在这里插入图片描述

6. ESIM

  1. Enhanced LSTM for Natural Language Inference
  2. https://www.cnblogs.com/zle1992/p/9100780.html

在这里插入图片描述
在这里插入图片描述

7. Improve

加入以下attention和cosine相似度的特征来对模型的结构进行改进，提升模型精度

  1. 加入Attention。例如：A Decomposable Attention Model for Natural Language Inference
  2. 使用曼哈顿距离和cos相似度一起作为分类特征。
  3. 底层使用Bert尝试，或ELMo
  4. 加入Batch Normalization层、LN来提升收敛速度

8. BERT

《BERT》相似度

在这里插入图片描述
两个句子之间通过[SEP]分割，[CLS]的向量作为分类的输入，标签是两个句子是否相似。可以作为排序算法。

输入格式

参数：max_length，词汇id表：

word_ids:

  1. 两个句子分别加入按照字分割成token，对于数字和英文也按照每个数字或字母分割。
  2. 起始位置加入[CLS]，然后两个句子token间通过[SEP]分割，并且根据max_length截断或填充。

word_mask:

  1. 根据句子实际长度以内的位置为1，padding的位置为0.

segment_ids:

  1. 长度max_length，第一句对应位置（包含[CLS],[SEP]）全为0；第二句对应位置(包含结尾[SEP])全为1，padding为0.
[CLS]能不能开花呗老兄[SEP]花呗逾期了还能开通[SEP]
00000000001111111111

举例：

tokens: [CLS] 为 何 我 无 法 申 请 开 通 花 呗 信 用 卡 收 款 [SEP] 支 付 宝 开 通 信 用 卡 花 呗 收 款 不 符 合 条 件 怎 么 回 事 [SEP]

input_ids: 101 711 862 2769 3187 3791 4509 6435 2458 6858 5709 1446 928 4500 1305 3119 3621 102 3118 802 2140 2458 6858 928 4500 1305 5709 1446 3119 3621 679 5016 1394 3340 816 2582 720 1726 752 102 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

input_mask: 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
segment_ids: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

代码见bert git：https://github.com/google-research/bert

预训练:

  1. 基于task领域的语料上在继续pre-train bert，效果可能会有小提升。

Reference

  1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  2. bert代码：https://github.com/google-research/bert
  3. Learning Text Similarity with Siamese Recurrent Networks
  4. Learning Sentence Similarity with Siamese Recurrent Architectures
  5. A Decomposable Attention Model for Natural Language Inference
百川AI
关注
专栏目录
语义相似度匹配（一）—— DSSM模型
11-25 3528
一、简介 论文：Learning Deep Structured Semantic Models for Web Search using Clickthrough Data 微软13年提出的计算文本相似度的深度学习模型，核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。DSSM有很广泛的应用，比如：搜索引擎检索，广告相关性，问答系统，机器翻译等。 网络框架如下： 二、 原理 对输入文本的
深度学习解决NLP问题：语义相似度计算——DSSM
热门推荐
TonyZhou的博客
07-31 2万+
在NLP领域，语义相似度的计算一直是个难题：搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。
句子相似度评估数据集
01-12
句子相似度数据，可用于评估词向量、句向量的优劣，句子成对出现，有人工的相似度打分
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
大数据小禅的博客
05-23 1874
在大模型中，"embedding"指的是将某种类型的输入数据（如文本、图像、声音等）转换成一个稠密的数值向量的过程。这些向量通常包含较多维度，每一个维度代表输入数据的某种抽象特征或属性。Embedding 的目的是将实际的输入转化为一种格式，使得计算机能够更有效地处理和学习文本Embedding在自然语言处理（NLP）中，文本embedding是一个常见的概念。是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征，例如意义、上下文关系等。
神经网络算法 - 一文搞懂Embedding（嵌入）
最新发布
weixin_53880910的博客
08-03 1956
本文将从**Embedding的本质、Embedding的原理、Embedding的应用**三个方面，带您一文搞懂Embedding（嵌入）。
Xlnet句向量实现(embedding)与句子相似度计算
大漠帝国的博客
08-28 4150
一.Xlnet概述 Xlnet是bert预训练模型之后NLP领域的又一重大进展，它充分吸收了Bert的双向语言模型(自编码-MaskLM机制)、预训练+Finetun机制(Transformer特征抽取)、大规模语料训练经验(corpus)、句子级别表征(sentence-level representation)等成功经验，开创性的引入Permutation Language...
word embedding计算过程剖析
无深度不学习的博客
08-20 1183
word embedding 定义 词向量，英文也叫word embedding ，按照字面意思，就是词嵌入。就是把单词映射为多维向量。 one-hot编码 要了词向量，就要从one-hot编码说起。one-hot编码就是给句子中的每个字分别用一个0-1编码，以“科、学、空、间、不、错”为例： 其中，“科学”可以用以下矩阵表示： 从这个例子可以看出，一个句子中有多少个字，就有多少维度。这样构造出来的矩阵是很大的，而且是稀疏矩阵，浪费资源。 计算过程 最左边表明，这是一个以2×6的one-hot矩阵为输
Word embedding算法
dongfeig54321的博客
09-05 282
Word embedding模型 计数模型是通过使用词共现矩阵把相似的词嵌入到同一个向量空间，通常先选择上下文环境，进行权重计算构建共现矩阵，随后运用相似度计算方法构建相似度矩阵，最后对矩阵进行分解，将每个词映射到一个较小维度的向量空间中，完成Word embedding模型的构建。 流程如下： 共现矩阵： Ｃ（共现矩阵）的行向量是单词空间，列向量是上下文空间，Ｃ...
python词组语义相似度_教你在Python中实现潜在语义分析
weixin_39873456的博客
11-26 633
介绍你有没有去过那种运营良好的图书馆？我总是对图书馆馆员通过书名、内容或其他主题保持一切井井有条的方式印象深刻。但是如果你给他们数千本书，要求他们根据书的种类整理出来，他们很难在一天内完成这项任务，更不用说一小时！但是，如果这些书以电子的形式出现，就难不倒你了，对吧？所有的整理会在几秒之间完成，并且不需要任何人工劳动。自然语言处理（NLP）万岁！看看下面这段话：你可以从高亮的词语中总结出，这段话有...
深度学习解决NLP问题：语义相似度计算
weixin_30512785的博客
11-02 2643
在NLP领域，语义相似度的计算一直是个难题：搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。 1. 背景 以搜索引擎和搜索广告为例，最重要的也最难解决的问题是语义相似度，这里主要体现在...
Embedding-based Retrieval in Facebook Search：解读Facebook搜索中的召回技术
weixin_41089007的博客
08-29 1957
许久不见甚是想念，自从工作后就没有更新过博客，难得今天抽空把前两天看的一篇Facebook 发表在 KDD2020 的一篇关于社交网络搜索中的 embedding 检索问题的工作来分享一下，干货很多，尤其是负样本的选取真的是切中痛点，推荐一读。 参考文献： 1.https://arxiv.org/pdf/2006.11632.pdf 2.https://mp.weixin.qq.com/s/VJSDSHW3CsY3b5Xx90FO2A 3.https://mp.weixin.qq.com/s/V..
JWS jar包和测试程序
11-24
包含jws所需的jar包 edu.mit.jwi和edu.sussex.nlp.jws.beta.11以及基于JWS写的词语相似度比较算法和JWS相关的帮助文档
Metric评价指标-Embedding Similarity
lijiaqi0612的博客
02-22 2131
今天要更新的是Embedding Similarity，这个评价指标呢，是通过嵌入向量来计算相似度的一种方式，我们一起来学习下。 欢迎关注知乎： 世界是我改变的 知乎上的原文链接 一. Embedding Similarity介绍 1. 原理介绍及公式 Embedding Similarity，顾名思义就是通过嵌入向量来计算相似度，这个评价指标在网上的资料比较少，我今天来总结一哈。 采用Embedding的方式来进行相似性度量，并返回一个度量相似性的数字。请记住，Embedding只是数字的向
如何利用大模型结合文本语义实现文本相似度分析？
小小晓晓阳的博客
02-05 3226
常规的文本相似度计算有TF-IDF，Simhash、编辑距离等方式，但是常规的文本相似度计算方式仅仅能对文本表面相似度进行分析计算，并不能结合语义分析，而如果使用机器学习、深度学习的方式费时费力，效果也不一定能达到我们满意的状态，随着大模型技术的日渐成熟，我们是否可以利用大模型来完成文本相似度分析呢？方式一虽然结果更加准确，可解释性也更强，但调用大模型分析会相对比较耗时，且资费较贵，所以我们也可以采用生成文本embedding向量的方式来计算文本相似度，以文心一言embedding接口为例，代码示例如下。
海量Embedding进行相似度查询和比较的方法
qysh123的专栏
02-08 3968
这个是在科研中的现实需求。例如每一个源代码文件，我们可以生成一个embedding，如果有超过5000万个embedding（例如用BERT生成5000万个embedding），怎么样有效地计算相似性呢（例如有5000个positive的embedding，想在5000万个中找到类似的）。 简单介绍一下我尝试的结果：如果直接用torch.cosine_similarity，我手里的数据估计至少要处理两个月。这时候就想到了用LSH -- Locality Sensitive Hashing，但是我之前并没怎
大模型百川2技术报告细节分享
zenRRan的博客
09-15 1969
作者：dikw原文: https://zhuanlan.zhihu.com/p/655606405进NLP群—>加入NLP交流群大型语言模型 (LLMs) 在自然语言任务上展现了出色的性能，减少了对大量特征工程的需求。但大多数高效的LLMs主要针对英语或为闭源。本技术报告介绍了Baichuan 2，一个大规模多语言模型系列，包含70亿和130亿参数，基于2.6万亿tokens从零开始训练。B...
Embedding技术
mudan97的博客
04-22 4613
1、Embedding 是什么 Embedding是用一个低维稠密的向量来“表示”一个对象（这里的对象泛指一切可推荐的事物，比如商品、电影、音乐、新闻等），同时表示一词意味着Embedding能够表达相应对象的某些特征，同时向量之间的距离也能够反应对象之间的相似性。 在词向量空间内，甚至完全不知道一个词的向量的情况下，仅靠语义关键加词向量运算就可以推荐出这个词的词向量。 Embedding技术对于深度学习推荐系统的重要性 推荐场景中大量使用one-hot编码对类别特征、ID类特征进行编码，导致向
SemEval 介绍
wtfloser的博客
09-08 3636
文章目录Why SemEval?Introduce of SemEval补充References SemEval (Semantic Evaluation) 是评估机器语义分析的一个系列，或者说是一系列研讨会。该研讨会每年都会举办一次，目前依旧存在。 其实 SemEval 研讨会的内容其实本身不复杂，只是解释起来容易变得抽象（也可能是我英语水平不行，一开始看一些介绍没理解清楚）。而此标题下要介绍的数据集就是该研讨会提供的，在介绍数据集之前，我先再更具体解释一下 SemEval。 Why SemEval? 在
word embedding（详细讲解word embedding）
qq_44479403的博客
12-11 3381
机器经过阅读大量的words，将每个单词用vector表示，vector的dimension表达着这个单词的属性，意思相近单词，dimension就会呈现出来。vector就是word embedding。 为了表示每个单词之间有联系，用二维vector来表示单词。可以更直观的看出每个单词的所属的类或者具有某种共同点。 ...
doc2vec embedding
07-25
Doc2Vec是一种基于Word2Vec的扩展，用于将文档或句子表示为固定长度的向量。它是一种无监督的学习方法，可以将文本转换为连续的向量表示。 在Doc2Vec中，每个文档被表示为一个向量，这个向量可以捕捉到文档的语义含义。与Word2Vec类似，Doc2Vec也有两种模型：分布式内存模型（Distributed Memory Model of Paragraph Vectors，简称DM）和分布式袋模型（Distributed Bag of Words，简称DBOW）。 在DM模型中，每个文档都有一个唯一的标识符，同时也有一个特殊的"标签"。这个标签会作为一个额外的输入来预测文档中的词语。通过不断地调整模型参数，最终可以得到文档的向量表示。 在DBOW模型中，文档被看作是无序的词袋，模型只关注预测词出现的概率。通过训练一个神经网络来预测词语，可以得到文档的向量表示。 Doc2Vec可以应用于多个自然语言处理任务，如文本分类、文档相似度计算和信息检索等。它在许多实际应用中取得了良好的效果，并且可以处理大规模数据集。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

百川AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值