基于Negative Sampling的word2vec模型原理

最新推荐文章于 2024-08-26 08:20:38 发布
最新推荐文章于 2024-08-26 08:20:38 发布
阅读量783 收藏 2
点赞数
分类专栏： 自然语言处理 数学理论 文章标签： word2vec Negative Sampling CBOW skip-gram 梯度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38984677/article/details/81283427
版权

传送：Word2Vec词嵌入向量延伸-原理剖析

           基于Hierarchical Softmax的word2vec模型原理

1.基于Negative Sampling的梯度计算

Negative Sampling摒弃了霍夫曼树，采用负采样的方法求解(对生僻词的迭代求解进行运算优化)。训练样本中w表示中心词(是正例)，周围上下文共2c个词context(w)，通过Negative Sampling采样，得到neg个和w不同的中心词w_{i}，组成负例

Negative Sampling是采用二元逻辑回归来求解模型参数，暂将正例定义为w_{0}。正例应期望满足：

负例期望满足：

期望最大化公式：

模型的似然函数：

对以上似然函数求对数，并采用随机梯度上升法，每次只用一个样本更新梯度，进行迭代更新得到需要的x_{w_{i}},\theta ^{w_{i}},i=1,2...neg

\theta ^{w_{i}}的梯度：

x ^{w_{i}}的梯度：

2.Negative Sampling负采样方法

如果词汇表的大小为V ,那么可将一段长度为1的线段分成V 份，每份对应词汇表中的一个词。当然每个词对应的线段长度是不一样的，高频词对应的线段长，低频词对应的线段短。每个词w 的线段长度由下式决定：

采样前，将这段长度为1的线段等分成M份(M默认10^8)，M>>V，保证每个词对应的线段都被划分成对应的小块。采样时，只需要从M个位置中采样出neg个位置，这样采样到的每一个位置对应到的线段所属的词就是负例词

3.基于Negative Sampling的CBOW模型

输入：基于CBOW的语料训练样本，词向量的维度大小M，CBOW的上下文大小2c,步长η，负采样的个数neg

输出：词汇表每个词对应的模型参数θ，所有词向量xw

 

4.基于Negative Sampling的skip-gram模型

输入：基于skip-gram的语料训练样本，词向量的维度大小M，skip-gram的上下文大小2c,步长η，负采样的个数neg

输出：词汇表每个词对应的模型参数θ，所有词向量xw

风风雨雨中寻觅
关注
专栏目录
【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型
VariableX的博客
06-03 855
系列文章： 【word2vec】篇一：理解词向量、CBOW与Skip-Gram等知识 【word2vec】篇二：基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型 【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型 Negative Sampling是这么一种求解word2vec模型的方法，它摒弃了霍夫曼树，采用了Negative Sampling（负采样）的方法来求解。 负采样算法 在CBOW模型中，
基于Negative Sampling的word2vec
makerjj的博客
12-08 285
基于Negative Sampling的word2vec CBOW Negative Sample的含义：对于一个中心词w和其上下文Context(w),我们希望在给定Context(w)的条件下，得到w的概率越大越好，得到其他词的概率越小越好，这个w就作为正样本，除w之外的其他词就作为负样本。不过不去词典中所有的词，而是从词典中抽取neg个词作为负样本，实用负采样算法(后面会说)。 通过逻辑回...
深度学习--负采样技术及其扩展详解
最新发布
GDHBFTGGG的博客
08-26 1467
负采样（Negative Sampling）是一种常用于自然语言处理和推荐系统中的技术，主要目的是优化模型的训练效率和效果。负采样技术的典型应用场景包括词向量训练（如Word2Vec）、推荐系统中的隐语义模型训练等。
word2vec原理(三) 基于Negative Sampling的模型
春卷同学的博客
11-15 665
转自http://www.cnblogs.com/pinard/p/7249903.html   在上一篇中我们讲到了基于Hierarchical Softmax的word2vec模型，本文我们我们再来看看另一种求解word2vec模型的方法：Negative Sampling。 1. Hierarchical Softmax的缺点与改进 　　　　在讲基于Negative Sampling...
基于negative sampling（负采样）的CBOW模型、skip-gram模型
DL_Iris的博客
12-08 590
一、基于negative sampling的CBOW模型 （一）基于negative sampling的CBOW模型与基于hierarchical softmax的CBOW模型不同： 基于negative sampling的模型采用随机负采样法计算概率，计算的是除词语w外的其他负采样词语的条件概率P(u|Content(w))相乘。 基于hierarchical softmax的模型采用huffman树的二分类法计算概率，计算的是词语w的条件概率P(w|Content(w))，该条件概率等于huffman
基于pytorch实现Word2Vec（skip-gram+Negative Sampling）
qq_24668285的博客
12-07 5826
目录 word2vec简介 语料处理 数据预处理 训练模型 近似训练法 参数设定 预测及可视化 word2vec简介 2013 年，Google 团队发表了 word2vec 工具。word2vec 工具主要包含两个模型：跳字模型（skip-gram）和连续词模型（continuous bag of words，简称 CBOW），以及两种高效训练的方法：负采样（negative sampling）和层序 softmax（hierarchical softmax）。 类似于f(x)->
Word2Vec详解1
08-03
Tomas Mikolov在NNLM的基础上进行了优化，提出了Word2Vec模型，简化了训练过程，尤其是在输出层的Sigmoid归一化方面。 Word2Vec有两个主要的变体：Continuous Bag of Words (CBOW) 和 Skip-Gram。CBOW模型尝试利用...
word2vec模型原理及实现词向量训练案例
rothschild666的博客
03-25 5836
word2vec模型进行词向量训练方法 一、打开语料库官网 搜狗实验室的搜狗新闻语料库官方链接：点击打开官方链接 二、下载语料库数据，首先下拉找到迷你版(样例数据, 110KB)，然后点击第一个红色箭头指向的红色框内容（tar.gz格式），自己选择好保存文件的途径之后点击第二个红色箭头指向的红色框内容（保存）。注意：下载来的文件名是“news_sohusite_xml.smarty.tar.gz”。 三、首先按键盘“windows键+r”打开资源管理器 ，在打开栏输入“cmd”然后点击“确定”。然后通
word2vec的算法思想详解（cbow+skipgram+negative sampling））
zhang35的博客
03-09 722
参考： https://easyai.tech/ai-definition/word2vec/ https://jalammar.github.io/illustrated-word2vec/ Word2vec 是 Word Embedding 词嵌入的方法之一。 Word Embedding 就是将「不可计算」「非结构化」的词转化为「可计算」「结构化」的向量。 Word2vec 有 2 种训练模式。 CBOW(Continuous Bag-of-Words Model) 通过上下文来预测当前值。相当于一
Word2Vec中的数学原理详解.pdf
02-12
从数学角度详细讲解word2vec模型的原理，目录如下：（一）目录和前言（二）预备知识（三）背景知识（四）基于 Hierarchical Softmax 的模型（五）基于 Negative Sampling 的模型（六）若干源码细节
SkipGram_Negative_Sampling
04-03
SkipGram_Negative_Sampling 带有负采样的skipgram模型的Pytorch实现。 word2vec的概念 支持的功能 跳过图 批量更新 负采样 可视化 如下所示，将嵌入内容和单词保存到TSV文件中，然后将这两个TSV文件上传到以实现更好的可视化效果。 def save_embedding(self, outdir, idx2word): embeds = self.in_embed.weight.data.cpu().numpy() f1 = open(os.path.join(outdir, 'vec.tsv'), 'w') f2 = open(os.path.join(outdir, 'word.tsv'), 'w') for idx in range(len(embeds)):
[DeeplearningAI笔记]序列模型2.7负采样Negative sampling
泛用演化计算、通用人工智能优化模型
08-29 2386
5.1循环序列模型 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.7 负采样 Negative sampling Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]// Intern...
Word2Vector之Skim-Gram模型
格物致知
01-19 3313
key idea:给定中间的词，预测上下文。具体来说，我们选择一个句子的中心词作为输入，选取周围的词作为目标值(每次选取一个，组成词对)，所以我们的训练数据格式如下（center，nearby）。我们网络的输出是一个向量，通过计算输出向量与目标值的交叉熵损失，从而调整网络权重。举个栗子，当我们输入‘Soviet’，我们的网络输出‘Union’或者‘Russia’等词。而不是输出‘watermelon
《word2vec中的数学》内容摘要（四、基于Negative Sampling的CBOW模型）
sunjianqiang12345的博客
04-29 279
Negative Sampling（NEG）利用随机负采样，能大幅度提高性能。 对于样本，词为正样本，其他词为负样本。假定已经选好了一个关于的负样本子集，且对 ...
Negative Sampling
qq_16438065的博客
04-30 1105
在上一篇中我们讲到了基于Hierarchical Softmax的word2vec模型，本文我们我们再来看看另一种求解word2vec模型的方法：Negative Sampling。 1. Hierarchical Softmax的缺点与改进 在讲基于Negative Sampling的word2vec模型前，我们先看看Hierarchical Softmax的的缺点。的确，使用霍夫曼树来代替传统...
《word2vec中的数学》内容摘要（四、基于Negative Sampling的Skip-gram模型）
sunjianqiang12345的博客
05-01 184
对于给定的样本，我们希望最大化
负采样（Negative Sampling）
热门推荐
csdn_xmj的博客
07-13 1万+
来源：Coursera吴恩达深度学习课程 在Word2Vec文章中，我们见到了Skip-Gram模型如何构造一个监督学习任务，把上下文映射到了目标词上，它如何学到一个实用的词嵌入（word embedding）。但是它的缺点（downside）就在于softmax计算起来很慢。因此，学习一个改善过的学习问题叫做负采样（negative sampling），它能做到与Skip-Gram模型相似的事情，但是用了一个更加有效的学习算法，让我们来看看。 在本视频中大多数的想法源于这篇论文：Distribut
word2vec原理解析：Hierarchical Softmax 模型深入
"这篇博客文章主要探讨了word2vec模型中的Hierarchical Softmax改进方法，这是word2vec的两种优化策略之一，另一种是Negative Sampling。文章作者是刘建平Pinard，他是一位有着丰富经验的码农，对数学、统计学、数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值