doc2vec原理及实践

最新推荐文章于 2024-04-27 21:05:50 发布
最新推荐文章于 2024-04-27 21:05:50 发布
阅读量3.4w 收藏 71
点赞数 7
分类专栏： 文本处理

原文地址：https://blog.csdn.net/john_xyz/article/details/79208564

1.“句向量”简介

word2vec提供了高质量的词向量，并在一些任务中表现良好。 
关于word2vec的原理可以参考这几篇论文：

关于如何使用第三方库gensim训练word2vec可以参考这篇博客：

尽管word2vec提供了高质量的词汇向量，仍然没有有效的方法将它们结合成一个高质量的文档向量。对于一个句子、文档或者说一个段落，怎么把这些数据投影到向量空间中，并具有丰富的语义表达呢？过去人们常常使用以下几种方法：

  • bag of words
  • LDA
  • average word vectors
  • tfidf-weighting word vectors

就bag of words而言，有如下缺点：1.没有考虑到单词的顺序，2.忽略了单词的语义信息。因此这种方法对于短文本效果很差，对于长文本效果一般，通常在科研中用来做baseline。

average word vectors就是简单的对句子中的所有词向量取平均。是一种简单有效的方法，但缺点也是没有考虑到单词的顺序

tfidf-weighting word vectors是指对句子中的所有词向量根据tfidf权重加权求和，是常用的一种计算sentence embedding的方法，在某些问题上表现很好，相比于简单的对所有词向量求平均，考虑到了tfidf权重，因此句子中更重要的词占得比重就更大。但缺点也是没有考虑到单词的顺序

LDA模型当然就是计算出一片文档或者句子的主题分布。也常常用于文本分类任务，后面会专门写一篇文章介绍LDA模型和doc2vec的本质不同

2. doc2vec原理

doc2vec是google的两位大牛Quoc Le和Tomas Mikolov在2014年提出的，原始论文地址如下：https://cs.stanford.edu/~quocle/paragraph_vector.pdf

Doc2Vec 或者叫做 paragraph2vec, sentence embeddings，是一种非监督式算法，可以获得 sentences/paragraphs/documents 的向量表达，是 word2vec 的拓展。学出来的向量可以通过计算距离来找 sentences/paragraphs/documents 之间的相似性，可以用于文本聚类，对于有标签的数据，还可以用监督学习的方法进行文本分类，例如经典的情感分析问题。

在介绍doc2vec原理之前，先简单回顾下word2vec的原理

word2vec基本原理

熟悉word2vec的同学都知道，下图是学习词向量表达最经典的一幅图。在下图中，任务就是给定上下文，预测上下文的其他单词。


其中，每个单词都被映射到向量空间中，将上下文的词向量级联或者求和作为特征，预测句子中的下一个单词。一般地：给定如下训练单词序列w1,w2,w3,...,wT, 目标函数是


当然，预测的任务是一个多分类问题，分类器最后一层使用softmax，计算公式如下： 


这里的每一个yi可以理解为预测出每个word的概率。因为在该任务中，每个词就可以看成一个类别。计算yi的公式如下：


这里U和b都是参数，h是将级联或者求平均。 

因为每个单词都是一类，所以类别众多，在计算softmax归一化的时候，效率很低。因此使用hierarical softmax加快计算速度，其实就是huffman树，这个不再赘述，有兴趣的同学可以看word2vec的paper。

doc2vec基本原理

1. A distributed memory model

训练句向量的方法和词向量的方法非常类似。训练词向量的核心思想就是说可以根据每个单词wi的上下文预测wi，也就是说上下文的单词对wi是有影响的。那么同理，可以用同样的方法训练doc2vec。例如对于一个句子s:i want to drink water，如果要去预测句子中的单词want，那么不仅可以根据其他单词生成feature， 也可以根据其他单词和句子s来生成feature进行预测。因此doc2vec的框架如下所示：


每个段落/句子都被映射到向量空间中，可以用矩阵D的一列来表示。每个单词同样被映射到向量空间，可以用矩阵W的一列来表示。然后将段落向量和词向量级联或者求平均得到特征，预测句子中的下一个单词。

这个段落向量/句向量也可以认为是一个单词，它的作用相当于是上下文的记忆单元或者是这个段落的主题，所以我们一般叫这种训练方法为Distributed Memory Model of Paragraph Vectors(PV-DM)

在训练的时候我们固定上下文的长度，用滑动窗口的方法产生训练集。段落向量/句向量 在该上下文中共享。

总结doc2vec的过程, 主要有两步：

  • 训练模型，在已知的训练数据中得到词向量W, softmax的参数U和b,以及段落向量/句向量D
  • 推断过程（inference stage），对于新的段落，得到其向量表达。具体地，在矩阵DD中添加更多的列，在固定W,U,b的情况下，利用上述方法进行训练，使用梯度下降的方法得到新的D,从而得到新段落的向量表达
2. Paragraph Vector without word ordering: Distributed bag of words

还有一种训练方法是忽略输入的上下文，让模型去预测段落中的随机一个单词。就是在每次迭代的时候，从文本中采样得到一个窗口，再从这个窗口中随机采样一个单词作为预测任务，让模型去预测，输入就是段落向量。如下所示：


我们称这种模型为 Distributed Bag of Words version of Paragraph Vector(PV-DBOW)

在上述两种方法中，我们可以使用PV-DM或者PV-DBOW得到段落向量/句向量。对于大多数任务，PV-DM的方法表现很好，但我们也强烈推荐两种方法相结合。

3. 基于gensim的doc2vec实践

我们使用第三方库gensim进行doc2vec模型的训练

# -*- coding: utf-8 -*-
import sys
import logging
import os
import gensim
# 引入doc2vec
from gensim.models import Doc2Vec
curPath = os.path.abspath(os.path.dirname(__file__))
rootPath = os.path.split(curPath)[0]
sys.path.append(rootPath)
from utilties import ko_title2words

# 引入日志配置
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

# 加载数据
documents = []
# 使用count当做每个句子的“标签”，标签和每个句子是一一对应的
count = 0
with open('../data/titles/ko.video.corpus','r') as f:
    for line in f:
        title = unicode(line, 'utf-8')
        # 切词，返回的结果是列表类型
        words = ko_title2words(title)
        # 这里documents里的每个元素是二元组，具体可以查看函数文档
        documents.append(gensim.models.doc2vec.TaggedDocument(words, [str(count)]))
        count += 1
        if count % 10000 == 0:
            logging.info('{} has loaded...'.format(count))

# 模型训练
model = Doc2Vec(documents, dm=1, size=100, window=8, min_count=5, workers=4)
# 保存模型
model.save('models/ko_d2v.model')

接下来看看训练好的模型可以做什么

def test_doc2vec():
    # 加载模型
    model = doc2vec.Doc2Vec.load('models/ko_d2v.model')
    # 与标签‘0’最相似的
    print(model.docvecs.most_similar('0'))
    # 进行相关性比较
    print(model.docvecs.similarity('0','1'))
    # 输出标签为‘10’句子的向量
    print(model.docvecs['10'])
    # 也可以推断一个句向量(未出现在语料中)
    words = u"여기 나오는 팀 다 가슴"
    print(model.infer_vector(words.split()))
    # 也可以输出词向量
    print(model[u'가슴'])

以上都是一些比较常见的用法，更多的用法请参https://radimrehurek.com/gensim/models/doc2vec.html



修炼打怪的小乌龟
关注
  • 7
    点赞
  • 踩
  • 71
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
关于命名实体识别的方法对比总结与原理初探
halhsdfi的博客
11-07 1658
主要作用 优点 缺点 BERT BILSTM BIGRU BERT中demo：如图两个句子的分类任务（MNLI\QQP\QNLI\STS-B\MRPC\RTE\SWAG),单句的分类任务（SST-2\CoLA);问答任务（SQuAD v1.1）；单句序列标注任务（CoNLL-2003 NER) 一、BERT 原理初探 原文下载地址：https://arxiv.org...
【自然语言处理】word2vec/doc2vec基础学习以及简单实践
贾继康的博客
09-25 2845
文章目录一、前言二、 向量化算法word2vec2.1 引言2.2 word2vec原理2.3 词的表示三、神经网络语言模型四、C&W模型五、CBOW模型5.1 CBOW模型结构图5.2 CBOW的输入输出六、Skip-gram模型6.1 Skip-gram模型结构图6.2 Skip-gram模型输入输出七、向量化算法doc2vec/str2vec7.1 doc2vec模型八、文本向量化...
doc2vec原理
orangerfun的博客
11-11 1220
doc2vec和word2vec类似，Doc2vec也有两种训练方式，分别是Distributed Memory(DM) 和 Distributed Bag of Words(DBOW)。 DM 试图在给定上下文和段落向量的情况下预测单词的概率，与word2vec中CBOW类似，在一个句子或者文档的训练过程中，段落 ID 保持不变，共享着同一个段落向量； DBOW 则在仅给定段落向量的情况下预测段落中一组随机单词的概率，与word2vec中skip-gram类似。 1.DM模型 训练过程中新增了paragr
深度学习从入门到精通——词向量介绍及应用
最新发布
swpucwf的博客
04-27 1347
词向量（Word embedding），即把词语表示成实数向量。“好”的词向量能体现词语直接的相近关系。词向量已经被证明可以提高NLP任务的性能，例如语法分析和情感分析。词向量与词嵌入技术的提出是为了解决onehot的缺陷。它把每个词表示成连续稠密的向量，能较好地表达不同词之间的关联关系。如果两个词是关联的，那么这两个词分别对应的词向量的余弦相似度越接近于1。如果两个词关联关系比较小，那么这两个词分别对应的词向量的余弦相似度越接近于0.
Gensim库的使用——Doc2Vec模型（一）介绍与使用
一个小菜鸟的博客
05-23 6741
Doc2Vec模型 使用Lee corpus来介绍Gensim中Doc2vec模型的使用 Doc2vec模型是用来将每一篇文档转换成向量的模型，注意，是将整篇文档转换为向量！ 段落向量模型 Le and Mikolov 在2014年介绍了Doc2Vec 算法，这个算法虽然仅仅是使用了Word2Vec的向量进行了平均化操作，但是效果却很好。 这个算法的基本思想是，如果说一个文档有另一个类似于词的浮动向量， ...
Doc2vec在推荐系统中的应用（含算法原理、代码实现）
m0_37586850的博客
12-16 990
点击标题下「智能推荐系统」可快速关注Doc2vec是Mikolov2014年提出的论文，也被成为Paragraph Vector，下面的内容分为三方面进行介绍，分别为：Doc2vec的原...
基于gensim的Doc2Vec\word2vec简析,以及用python 实现简要代码，
IT届的小学生
11-24 9189
Doc2Vec 原理： Doc2Vec 或者叫做 paragraph2vec, sentence embeddings，是一种非监督式算法，可以获得sentences/paragraphs/documents 的向量表达，是 word2vec 的拓展。学出来的向量可以通过计算距离来找 sentences/paragraphs/documents 之间的相似性， 或者进一步可以给文档打标签。 ...
Word2Vec原理与实践
01-02
无
doc2vec的java实现
09-15
DOC2vec，是为一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。
doc2vec(原论文)
11-18
为更好的理解doc2vec方法，请详细阅读原论文。仅供学习使用，禁止商业用途。版权作者所有，如有侵权请联系删除。
doc2vec在线训练程序
05-18
主要用于文本的量化处理，非常适合计算文本的相似度以及文本分类，相比于tf-idf更优。
doc2vec:使用Python 3，Keras和TensorFlow的doc2vec的简单易读实现
05-03
doc2vec 使用Python 3，Keras和TensorFlow的doc2vec [1]的简单易读实现。 安装 pip install -r requirements.txt python setup.py install 假设条件 此实现假定您的文档都在同一目录中，并以单调递增的整数ID命名，例如0.txt ， 1.txt 。 每个文件都应包含一个普通的文本文档，即没有任何特殊的预处理。 用法 doc2vec path/to/docs/ \ --save path/to/save/model.hdf5 \ --save_vocab path/to/save/vocab.vocab \ --train 默认情况下，这将使用分布式内存（DM）模型。 您还可以将“分布式词袋”（DBOW）模型用于： doc2vec path/to/docs/ --model d
doc2vec:使用Gensim训练doc2vec模型的Python脚本
05-01
doc2vec 该存储库包含Python脚本，用于使用训练doc2vec模型。 有关doc2vec算法的详细信息，请参见论文。创建一个DeWiki数据集Doc2vec是一种无监督的学习算法，并且可以使用任何文档集来训练模型。 文档可以是简短的...
Doc2vec
mudan97的博客
04-27 777
Doc2vec是Mikolov2014年提出的论文，也被成为Paragraph Vector，下面的内容分为三方面进行介绍，分别为： Doc2vec的原理 Doc2vec在推荐系统中的应用启发 Doc2vec的算法实现 1、Doc2vec的算法原理 如何学习得到Word的Vector表示 一个非常流行的学习Word Vector的方法如下图所示： Doc2vec的两种算法 Doc2vec其实包含了两种算法： PV-DM（Distributed Mem...
Sougou语料库word2vec训练demo
hhyer的博客
03-07 574
Sougou语料库word2vec训练demo 文章参考：https://www.cnblogs.com/Newsteinwell/p/6034747.html 利用jieba对中文语料库进行分词 这里首先将Sougou中的语料库进行解压，对解压后的dat文件 cat news_sohusite_xml.dat | iconv -f gbk -t utf-8 -c | grep "<content>" > sougou.txt 提取出<conten>内的文本 再使用jieba对
数据预处理：标准化和归一化
angciyu的博客
04-27 6932
网上很多关于标准化和归一化的文章，不少是误人子弟的存在。这篇文字希望给大家讲清讲透这两个概念。 一、标准化（standardization） 公式一般为：(X-mean)/std，其中mean是平均值，std是方差。 从公式我们可以看出，标准化操作（standardization）是将数据按其属性（按列）减去平均值，然后再除以方差。这个过程从几何上理解就是，先将坐标轴零轴平移到均值这条线上，...
word2vec词向量模型裁剪简单demo
zhoujialin的专栏
08-14 1308
package com.zhubajie.alg.qid.segword; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.BufferedReader; import java.io.DataInputStream; import java.io.DataOutput
Word2Vec程序解析
老笨妞
07-20 3419
word2vec主要的层次结构 vocab是一个结构体数组。 *Vocab_hash是一个hash链表。 vocab存入词的时候实际是按照先后顺序存储的。为了方便查找，在词存入的时候顺便把词在链表中的位置存入到vocab_hash中，而该词的vocab_hash位置有hash(word）决定，这样查找起来很快。   ReadWord:逐个字符读入词（一个汉字是不是拆成两个字符
python doc2vec
05-26
Python Doc2Vec is an algorithm for generating vector representations of documents. It is an extension of the Word2Vec algorithm, which generates vector representations of words. Doc2Vec is used for tasks such as text classification, document similarity, and clustering. The basic idea behind Doc2Vec is to train a neural network to predict the probability distribution of words in a document. The network takes both the document and a context word as input, and predicts the probability of each word in the vocabulary being the next word in the document. The output of the network is a vector representation of the document. Doc2Vec can be implemented using the Gensim library in Python. The Gensim implementation of Doc2Vec has two modes: Distributed Memory (DM) and Distributed Bag of Words (DBOW). In DM mode, the algorithm tries to predict the next word in the document using both the context words and the document vector. In DBOW mode, the algorithm only uses the document vector to predict the next word. To use Doc2Vec with Gensim, you need to first create a corpus of documents. Each document should be represented as a list of words. You can then create a Doc2Vec model and train it on the corpus. Once the model is trained, you can use it to generate vector representations of new documents. Here's an example of training a Doc2Vec model using Gensim: ``` from gensim.models.doc2vec import Doc2Vec, TaggedDocument from nltk.tokenize import word_tokenize # create a corpus of documents doc1 = TaggedDocument(words=word_tokenize("This is the first document."), tags=["doc1"]) doc2 = TaggedDocument(words=word_tokenize("This is the second document."), tags=["doc2"]) doc3 = TaggedDocument(words=word_tokenize("This is the third document."), tags=["doc3"]) corpus = [doc1, doc2, doc3] # create a Doc2Vec model and train it on the corpus model = Doc2Vec(corpus, vector_size=100, window=5, min_count=1, workers=4, epochs=50) # generate vector representations of new documents new_doc = word_tokenize("This is a new document.") vector = model.infer_vector(new_doc) ``` In this example, we create a corpus of three documents and train a Doc2Vec model with a vector size of 100, a window size of 5, a minimum word count of 1, and 50 epochs. We then generate a vector representation of a new document using the `infer_vector` method.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值