word2vec skip gram 直观理解、训练过程和负采样

最新推荐文章于 2025-02-19 19:38:53 发布
最新推荐文章于 2025-02-19 19:38:53 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： NLP 文章标签： nlp 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38224810/article/details/114275703
版权
本文深入解析Word2Vec中的Skip-Gram模型，介绍如何通过给定单词预测与其共现的其他单词的概率，并详细阐述模型的网络结构、损失函数及训练过程。此外，还介绍了用于优化计算效率的Hierarchical Softmax和Negative Sampling方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

word2vec skip gram 直观理解

  • 目标
    根据给定的单词预测与该单词同处一个窗口内其他每个单词出现的概率
  • 目标损失函数：
    针对每个窗口内非target word 的context word，构建
    C ( θ ) = − ∑ w i ∑ c = 1 C l o g p ( w O , c ∣ w I ) C(\theta) = - \sum_{w_i}\sum_{c=1}^Clogp(w_O,c | w_I) C(θ)=−wi​∑​c=1∑C​logp(wO​,c∣wI​)损失函数并利用最大似然估计进行求解。在这里插入图片描述
  • 网络结构
    第一层为输入的单词one-hot向量，维度为1xV，V代表词表中所有词的个数。
    中间为隐层，神经元个数代表了压缩后每个词向量的维数N，常见个数有100，200，300。
    隐层和输入层间的矩阵V维度为VxN，待学习完成后，每一行的向量对应着词表中每个词作为target词时的词向量。
    隐层和输出层间的矩阵N维度为NxV，待学习完成后，每一列的向量对应着词表中每个词每个词作为context 词时的词向量。
    在这里插入图片描述
  • 隐层权重矩阵V
    我们用h代表输入词的one-hot向量x和V矩阵点积之后的结果，对应V矩阵中的第k行，x中等于1的那行为k，k的取值范围是整个词表的大小V。

在这里插入图片描述

  • 隐层权重矩阵N
    wj为窗口内任意一个context词，其向量 v w j ′ v'_{w_j} v
最低0.47元/天 解锁文章
一文弄懂Word2Vec之skip-gram（含详细代码）
Python，数据分析，机器学习，深度学习
12-06 1万+
目录 前言 一、什么是Skip-gram算法 二、目标是什么 三、定义表示法 3.1 one-hot向量 3.2 词向量（word vector） 3.3 单词矩阵 3.4 单词相似度 3.5 softmax函数 3.6算法过程 3.7 求softmax 四、skipgram代码实现 4.1 如何把词转换为向量 4.2 CBOW和Skip-gram的算法实现 Skip-gram的理想实现 Skip-gram的实际实现 4.3 使用Pytorch实现Skip-gram .
自然语言处理基础知识入门(二) Word2vec模型，层次softmax，负采样算法详解
WANGYANG的博客
04-02 2120
在上一篇博文中，详细探讨了NLP（自然语言处理）领域中两个核心技术：基于统计的N-gram模型与基于深度学习的NNLM（神经网络语言模型）。阐明了N-gram模型在处理单词时倾向于将它们视为孤立的单位(独热编码)，这种方法可能忽略了单词之间在某些层面上的相似性，从而在语义理解方面有所不足。这些模型主要依赖于对统计信息的聚合。为了克服这些局限性并赋予词向量丰富的语义信息，可以利用深度神经网络。通过利用目标词语之前的词向量去预测它本身，这种方法成功地为词向量赋予了包含语义信息的能力。
word2vec之skip-gram算法原理
cuixuange的博客
03-31 679
skip-gram算法原理 1.input,output,target input的某个单词的one-hot编码（11000 词汇量的总数目） output其他所有单词的概率（softmax 输出也是11000） target是相近单词的one-hot形式 2.Loss target和output的矩阵的交叉熵最小 or 平方差最小 3.NNet 3.1 隐层 300个神经元,需要训练的权重矩阵...
经典Embedding方法:Word2Vec与Skip-Gram算法）
最新发布
m0_64449391的博客
02-19 670
核心思想“具有相似上下文的词，其语义也相似。例如，句子和中，cat和dog的上下文相似，因此它们的向量表示应接近。Skip-Gram的优势擅长捕捉低频词。生成的高质量词向量可应用于语义分析、推荐系统召回等。数学本质通过最大似然估计，学习词向量以编码上下文相似性。实际应用预训练词向量（如GloVe、BERT的基础）。相似词检索、文本分类、命名实体识别等。参考文献arXiv王喆《深度学习推荐系统》word2vec跳字模型skip-gram详解，使用Pytorch实现。
Pytorch实现word2vec(Skip-gram训练方式)
Delusional的博客
03-07 6400
简易版本的word2vec实现 skip-gram原理简述 skip-gram是word2vec的一种训练方法，是核心思想是用中心词预测周围词，相比起用周围词预测中心词的CBOW训练方法，skip-gram训练的“难度更大”，因此训练出来的词向量往往也要比CBOW的要好一些。 从理论到代码最重要的一步就是要认识到在用中心词预测周围词的时候，比如当我们指定窗口为2，那么左右的周围词共有四个，skip-gram的训练过程不是一次性用中心词预测四个词，而是中心词和一个周围词组成一个训练样本，有4个周围词的话
python word2vec skipgram 负采样_理解 Word2Vec 之 Skip-Gram 模型
weixin_39977488的博客
12-11 423
注明：我发现知乎有些公式在手机端不显示，但在PC端可以正常显示。后面的文章我会尽量用图片或者纯文本来表示公式，方便手机端阅读。写在之前专栏终于申请成功啦，不过现在正在申请改名中，可能要审核几天。后面我会不定期在专栏中更新机器学习和深度学习的一些内容，主要包括机器学习的比赛代码、深度学习的算法思想以及深度学习的实战代码。由于目前我在公司实习中，所以平时上班时间就认真上班啦，下班以后和周末我会抽空去写...
skip-gram 学习笔记
weixin_34073041的博客
08-21 746
关于skip-gram skip-gram 是给定中心词预测周围词 例如，给定一句话 I am working on NLP project, it is interesting. 设定滑动窗口为5的话 分别给定中心词 working, on, NLP, project, it, 来预测中心词前后的两个周围词。 那么目标函数就是 maxmum( P(i|working) * P(am|working) * P(on|working) * P(NLP|working)) 另其为A， 那最终的目标函数就是
skip-gram-负采样中的神经网络操作过程详解
小姑仔的博客
12-08 684
如果batch_size = 128,正采样的单词左右各采样相应的3个单词,共采样6个单词 负采样共采样对应的60个相应的单词，则输入的矩阵中input_embedding = [128] pos_embedding = [128,6],neg_embedding = [128,60](注意这里面的batch=128的 情况下，每一次输入单词的维度应该一致) 然后使用扩充维度的操作使得input_embedding = [128,100],pos_embedding = [128,6,100],neg_em
Word2Vec之CBOW&Skip-gram
m0_62089933的博客
10-04 642
我们之前介绍过分布假设，主要是通过上下文来构造一个共现矩阵，度量词的相似性或关联性可以在共现矩阵的基础上采用余弦相似度、Jaccard相似度、点互信息等，为了避免低频技术在统计上的不可靠性，可以对共现矩阵胡必须把矩阵奇异分解，获得矩阵更鲁棒的低阶表示后，在分解后的低阶矩阵上进行了词的表示与计算。 分布式表示则是将每个词映射到低维空间中的连续向量，每个维度有着不明确的含义，而词的含义由其向量表示及与其他词的空间关系决定。 Word2Vec 词向量已成为基于...
Pytorch实现实现word2vec中的CBOW和Skip-gram模型
12-09
它不仅帮助研究者深入理解了word2vec的工作原理，还通过Negative Sampling和Hierarchical Softmax等策略优化了模型的性能，使得训练过程更加高效。同时，实验环境的选择也显示了在普通的个人电脑上就可以进行高效的...
自然语言处理|SkipGram训练中文词向量
IDE不报错的博客
08-06 1487
课程作业，训练语料是维基百科的中文语料，训练词向量计算两个词之间的余弦相似度。关于预处理网络上有不少教程，这里不再赘述，程序结构图里给出了对应步骤用到的库，可以借鉴。 1. 程序结构概览 2. 基于Word2Vec的实现 基于Word2Vec的实现直接调用了gensim库，调整了几个参数，调整情况如下，详细代码备注见SGNS_ginsim.py. 训练数据有362826条左右，选择了其中的360000条，分10批进行训练。 （1）调整参数使之满足模型要求： s...
word2vector之Skip_Gram模型详解
tt丫的博客
03-13 5799
深度学习入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。 目录 一、前景知识 二、Skip-gram模型思想 三、Skip-gram模型结构分析 1、网络图 2、网络层次级分析 3、注意点 四、代码实现朴素skip-gram 一、前景知识 CBoW模型word2vector之CBoW模型详解_tt丫的博客-CSDN博客 二、Skip-gram模型思想 Skip-gram模型跟CBoW模型是反过来的。 CBoW模型通过上下文来预
Skip-Gram模型原理详解
2301_77444219的博客
07-26 1607
在自然语言处理（NLP）领域，Skip-Gram模型是一种经典且强大的词向量表示方法。它通过预测给定单词周围的上下文单词来学习单词的分布式表示，从而捕捉单词之间的语义关系。本文将详细介绍Skip-Gram模型的原理，包括其数据预处理、神经网络架构、目标函数以及优化算法。
4 关于word2vec的skip-gram模型使用负例采样nce_loss损失函数的源码剖析
weixin_30258027的博客
07-09 937
tf.nn.nce_loss是word2vec的skip-gram模型的负例采样方式的函数，下面分析其源代码。 1 上下文代码 loss = tf.reduce_mean( tf.nn.nce_loss(weights=nce_weights, biases=nce_biases, lab...
word2vec（一）——skip-gram原理理解
qq_31267769的博客
08-28 6271
1 什么是word2vec word2vec顾名思义，就是将词（word）映射到（to）实向量（vector），用一一实数向量表示一个词，也被叫做词嵌入（word embedding），也可以认为词向量是词的特征向量。通过这种词嵌入的方式可以将词语映射为可以计算的数学形式，使计算机对自然的语言的计算变得更加可行，同时也赋予了它一定的数学性质，例如可以用向量的相似度来表示两个词的相似度等等。word2vec可以参考这篇文章中有提到https://blog.csdn.net/qq_31267769/artic
【NLP】Word2vec（CBOW+Skip-gram+负例采样）
小马日记
09-23 1617
一、连续词袋模型（CBOW） 1、含义：   给定上下文{“The”, “people”, “their’, “country”}，预测中心的词语"love”，叫做连续词袋模型。   首先，建立模型已知参数。将选定窗口的上下文词使用one-hot向量表示，作为模型的输入，记为W。模型的输出label记为y。   其次，构建未知参数。初始化两个矩阵V∈R∣V∣∗nV\in R^{|V|*n}V∈R∣...
Skip-Gram模型和负采样
Python技术博文
11-15 1338
Skip-Gram模型根据中心词，预测或生成它的上下文单词。比如，根据jumped，预测或生成{“the”,“cat”,“over”,“the”,“puddle”}。显然，交换CBOW...
实现负频率_PyTorch 实现 Skip-gram
weixin_42299244的博客
01-09 342
代码实现：https://github.com/zhangxiann/Skip-gram这是我用于学习 Skip-gram 的笔记。文中会有一些公式，如果 github 出现公式乱码问题，请通过我的博客查看：https://zhuanlan.zhihu.com/p/275899732。下面废话不多说，教你手把手实现 Skip-gram。CBOW 和 Skip-gram 是两种训练得到词向量的方法...
Word2Vec直观理解（全）
qq1344574215的博客
09-22 745
①在理解Word2Vec之前，我们需要首先明白一个问题： 为什么不用one-hot？ 其实，无论是one-hot，抑或是Word2Vec，都是对词进行向量表示的一种手段，只不过one-hot更加简单，没有考虑上下文的关联，且任意两个one-hot向量的cosine similarity（余弦相似度，值越大夹角越小，我们认为两个向量越相近）都为0。 此外，one-hot会随词表变大而变大，且特征极为稀疏。 ②Word2Vec的核心思维 我们希望模型能够通过一个中心词去很好的预测其周围的单词，或利用周
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值