doc2vec 文档向量

最新推荐文章于 2023-06-02 12:41:43 发布
最新推荐文章于 2023-06-02 12:41:43 发布
阅读量759 收藏 2
点赞数
分类专栏： NLP 文章标签： nlp 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37074299/article/details/112362206
版权

目录

1 目的和思想

doc2vec 模型的目的：创建文档向量表示
doc2vec 的整体思想：在word2vec的基础上增加了可训练句子的矩阵
doc2vec 是无监督学习
模型出自论文: Distributed Representations of Sentences and Documents

2 模型原理

模型实现（两种方法）：

  1. PV-DM + softmax
  2. PV-DBOW + softmax

训练阶段：给出一组文档，为每个单词生成词向量W，并为每个文档生成文档向量D，训练 softmax 隐藏层的权重。
预测阶段：固定 softmax 等权重以计算文档向量，随机初始化文档向量，不断迭代更新文档向量，所有参数均不变，训练使用时间少

2.1 PV-DM（段落向量的分布式存储模型）

在CBOW基础上，增加 Paragraph Vector表示文档的向量D，在D中取矩阵中的一列作为输入层的输入，在词向量W中取一列，将段落向量和词向量进行运算得到 X 向量，用 X 向量来预测词
在这里插入图片描述

2.2 PV-DBOW （段落向量的分布式单词包版本）

在skip-gram基础上，利用句子向量预测词，该算法实际上更快，并且消耗更少的内存，因为不需要保存词向量
在这里插入图片描述

3 doc2vec 总结

doc2vec 是在word2vec的基础上进行了修改，在输入层上增加了Paragraph vector，不仅能训练出词向量还能训练出句子向量，咋子迭代更新的过程中，句子向量不断的稳定，更能代表一句话的主旨。在预测新句子时，参数不变，用梯度下降求得句子向量，速度也非常快

通过学出来的向量可以通过计算距离来找 sentences/paragraphs/documents 之间的相似性， 或者进一步可以给文档打标签

4 应用任务

文中应用任务：

  1. 情感分析
  2. 信息检索
xiao___qiao
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于命名实体识别的方法对比总结与原理初探
halhsdfi的博客
11-07 1653
主要作用 优点 缺点 BERT BILSTM BIGRU BERT中demo：如图两个句子的分类任务（MNLI\QQP\QNLI\STS-B\MRPC\RTE\SWAG),单句的分类任务（SST-2\CoLA);问答任务（SQuAD v1.1）；单句序列标注任务（CoNLL-2003 NER) 一、BERT 原理初探 原文下载地址：https://arxiv.org...
doc2vec论文方法解析及基于Gensim库的Python代码实现
weixin_44735126的博客
11-26 854
文章目录一、全文概述二、word2vec三、doc2vec1. PV-DM2. PV-DBOW三、Python代码实现 本文主要讲解Mikolov在2014年发表的论文《Distributed Representations of Sentences and Documents》，论文主要是基于word2vec方法的一种改进，建议在理解word2vec的基础再来看这篇文章。 一、全文概述 基于wo...
doc2vec：使用Doc2Vec嵌入的长文本表示和分类
02-05
Doc2Vec文本分类 文本分类模型，该模型使用gensim Doc2Vec生成段落嵌入，并使用scikit-learn Logistic回归进行分类。 数据集 25,000个IMDB电影评论，特别选择用于情感分析。 评论的情绪是二进制的（1表示肯定，0表示否定）。 与以下出版物相关联地收集了此源数据集： Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. (2011). "Learning Word Vectors for Sentiment An
向量化算法 doc2vec
qq_57063581的博客
05-03 977
from gensim.models.doc2vec import Doc2Vec,TaggedDocument import pandas as pd def D2V(): article = pd.read_excel('data.xlsx') #data为训练集，繁体 sentences = article['内容'].tolist() split_sentences = [] for i in sentences: split.
Doc2Vec模型详解
记录 IT 领域经验与见解的博客
06-02 1434
doc2vec模型的主要优点在于它不仅考虑了单词之间的关系，还考虑了段落之间的关系，这使得模型更能够捕捉到段落的语义信息，而不只是单词的语义信息。另一方面，DBOW模型使用了更简单的CNN转换段落中的每个单词的向量到段落中，并将其与段落的属性向量拼接成每个单词的预测目标。另外，与word2vec和分布式内存模型不同的是，doc2vec可以理解为单词和句子之间的关联关系，从而捕捉不同长度的文本信息，是一种非常有效和普遍应用于自然语言处理中的方法。在DBOW算法中，模型会建立单词和段落ID之间的映射关系。
Doc2vec在推荐系统中的应用（含算法原理、代码实现）
m0_37586850的博客
12-16 983
点击标题下「智能推荐系统」可快速关注Doc2vec是Mikolov2014年提出的论文，也被成为Paragraph Vector，下面的内容分为三方面进行介绍，分别为：Doc2vec的原...
【NLP】Doc2vec原理解析及代码实践
fengdu78的博客
04-27 1817
本文概览：1. 句子向量简介Word2Vec提供了高质量的词向量，并在一些任务中表现良好。虽然Word2Vec提供了高质量的词汇向量，但是仍然没有有效的方法将它们结合成一个高质量的文档向...
关于doc2vec
大脸猫的博客
01-22 731
原文地址：https://blog.csdn.net/john_xyz/article/details/79208564   1.“句向量”简介 word2vec提供了高质量的词向量，并在一些任务中表现良好。  关于word2vec的原理可以参考这几篇论文： https://arxiv.org/pdf/1310.4546.pdf https://arxiv.org/pdf/1301.37...
doc2vec原理
orangerfun的博客
11-11 1215
doc2vec和word2vec类似，Doc2vec也有两种训练方式，分别是Distributed Memory(DM) 和 Distributed Bag of Words(DBOW)。 DM 试图在给定上下文和段落向量的情况下预测单词的概率，与word2vec中CBOW类似，在一个句子或者文档的训练过程中，段落 ID 保持不变，共享着同一个段落向量； DBOW 则在仅给定段落向量的情况下预测段落中一组随机单词的概率，与word2vec中skip-gram类似。 1.DM模型 训练过程中新增了paragr
【NLP】doc2vec原理及实践
zenRRan的博客
09-21 493
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要7分钟跟随小博主，每天进步一丢丢作者：Johnson0722链接：https://blog.csdn.net/John_xyz/a...
doc2vec(原论文)
11-18
为更好的理解doc2vec方法，请详细阅读原论文。仅供学习使用，禁止商业用途。版权作者所有，如有侵权请联系删除。
Doc2Vec:任务是学习文档和单词的代表性向量
05-01
Doc2Vec 这个项目是为了个人学习的目的。 该项目旨在寻找英语文档的代表性载体。 截至目前，已经完成了根据Google的word2vec论文和代码来查找单词向量的工作。... 将来，计划使用基于lstm网络的方法来学习文档向量。
doc2vec:用于训练测试段落向量的 Python 脚本
08-04
该存储库包含一些 python 脚本，用于使用段落向量或 doc2vec 训练和推断测试文档向量。 要求 Python2：预训练的模型和脚本都只支持 Python2。 Gensim：最好使用我的的 gensim； 最新的 gensim 稍微改变了它的 Doc2...
基于Word2Vec的一种文档向量表示_唐明.pdf
02-13
基于Word2Vec的一种文档向量表示。在文本分类中，如何运用 ｗｏｒｄ２ｖｅｃ词向量高效地表达一篇文档一直是一个难点。目前，将 ｗｏｒｄ２ｖｅｃ模型与 聚类算法结合形成的ｄｏｃ２ｖｅｃ模型能有效地表达文档信息...
基于Word2Vec构建多种主题分类模型（贝叶斯、KNN、随机森林、决策树、支持向量机、SGD、逻辑回归、XGBoost...）
05-22
基于Word2Vec构建多种主题分类模型： 贝叶斯、KNN、随机森林、决策树、... - 词列表 -> Word2Vec,Doc2Vec 4. 分类标签编码 -> LabelEncoder 5. 构建训练集测试集 6. 构建模型 7. 训练模型 8. 调参和评估 9. 模型的应用
doc2vecDemo:这是一个doc2vec Demo程序，主要为输入的句子向量返回相似的句子向量。 如果有其他要求，您可以在此基础上进行修改
05-16
doc2vecDemo 工作中写的一个Demo，应用场景：如智能客服中对输入的问题进行相似问题的匹配。将这个Demo加到工程中可以减小后期工程维护的工作量（只要有新的问题可以直接放到对应的questions.txt文档中生成一个新的...
【神经网络】神经网络架构大全剖析（附原始论文地址）
探索世界，改变世界
05-20 1万+
随着新的神经网络架构不时出现，很难跟踪这些架构。知道所有缩写（DCIGN，BiLSTM，DCGAN，anyone?）起初可能有点压倒性。 所以我决定编写一个包含许多这些体系结构的备忘单。这些大多数是神经网络，有些是完全不同的野兽。虽然所有这些体系结构都是新颖而独特的，但是当我绘制节点结构时......它们的基本关系开始变得更有意义。           将它们绘制为节点映射时存在一个问题...
【实体识别】深入浅出讲解命名实体识别（介绍、常用算法）
热门推荐
程序星空实验室
05-10 2万+
命名实体识别（Named Entity Recognition, 简称NER）（也称为实体识别、实体分块和实体提取）是信息提取的一个子任务，旨在将文本中的命名实体定位并分类为预先定义的类别，如人员、组织、位置、时间表达式、数量、货币值、百分比等。命名实体识别是自然语言处理中的热点研究方向之一， 目的是识别文本中的命名实体并将其归纳到相应的实体类型中。 命名实体识别是NLP中一项非常基础的任务，是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。 从自然语言处理的
Doc2vec的两种算法类型介绍
qq_39431417的博客
11-09 1652
Doc2vec的两种算法类型 dm 定义了训练的算法。默认是dm=1,使用 ‘distributed memory’ (PV-DM)，否则 distributed bag of words (PV-DBOW)。 1、句向量的分布式记忆的版本（PV-DM） 在我们的句（Paragraph）向量模型中，每一个句子都被映射成一个独立的向量，这个句向量作为矩阵 的一列；同时，每一个词也被映射成一个独立的向量，这个词向量作为矩阵 的一列。对这个句向量和这些词向量求平均或者首尾相连，用来预测文本中的下一个词。在本研
doc2vec.pkl
最新发布
10-02
doc2vec.pkl是一个文件，其中存储了训练好的doc2vec模型。doc2vec是一种用于将文本转换为向量表示的算法。这种算法可以捕捉到文本中的语义和语境信息，将其转换为高维向量，从而可以进行文本相关性计算、文本分类等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值