一文弄懂Word2Vec之skip-gram（含详细代码）

已于 2023-04-12 08:30:37 修改
阅读量1.7w 收藏 227
点赞数 47
分类专栏： # NLP 机器学习|深度学习|自然语言处理 文章标签： word2vec 自然语言处理 深度学习
于 2021-12-06 17:55:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43734080/article/details/121708679
版权

目录

前言

一、什么是Skip-gram算法

二、目标是什么

三、定义表示法

3.1 one-hot向量

3.2 词向量（word vector）

3.3 单词矩阵

3.4 单词相似度

3.5 softmax函数

3.6 算法过程

3.7 求softmax

四、skipgram代码实现

4.1 如何把词转换为向量

4.2 CBOW和Skip-gram的算法实现

Skip-gram的理想实现

Skip-gram的实际实现

4.3 使用Pytorch实现Skip-gram

数据处理

网络定义

网络训练

前言

本文主要参考了一篇知乎文章和一篇飞浆文章，文章末尾有注明来处，在此基础上加入了个人的理解与思考，并用自己的数据集进行了代码复现，并提出了基于知网数据集下一步的改进方向。

一、什么是Skip-gram算法

Skip-gram算法就是在给出目标单词（中心单词）的情况下，预测它的上下文单词（除中心单词外窗口内的其他单词，这里的窗口大小是2，也就是左右各两个单词࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Dr.sky_
关注
  • 47
    点赞
  • 踩
  • 227
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 12
    评论
专栏目录
订阅专栏
word2vec（一）——skip-gram原理理解
qq_31267769的博客
08-28 5777
1 什么是word2vec word2vec顾名思义，就是将词（word）映射到（to）实向量（vector），用一一实数向量表示一个词，也被叫做词嵌入（word embedding），也可以认为词向量是词的特征向量。通过这种词嵌入的方式可以将词语映射为可以计算的数学形式，使计算机对自然的语言的计算变得更加可行，同时也赋予了它一定的数学性质，例如可以用向量的相似度来表示两个词的相似度等等。word2vec可以参考这篇文章中有提到https://blog.csdn.net/qq_31267769/artic
一文详解 Word2vec 之 Skip-Gram 模型
09-26
一文详解 Word2vec 之 Skip-Gram 模型
NLP之---word2vec算法skip-gram原理详解
热门推荐
Ricky
05-19 5万+
1.词嵌入（word2vec） 自然语言是一套用来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是用来表示词的向量，也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌入（word embedding）。近年来，词嵌入已逐渐成为自然语言处理的基础知识。 2.为何不采用one-hot向量 【如何使用one-hot】 假设词典中不同词的数量（词典大小）为NNN...
NLP笔记之word2vec算法（3）--Negative Sampling原理+数学推导
张小彬
02-10 903
前一篇文章中，我们介绍了基于Hierarchical Softmax的模型，在word2vec中还提出了一个叫做Negative Sampling的方法，本文对Negative Sampling进行一个介绍。 首先我们先介绍一些Hierarchical Softmax存在的一些缺陷，因为Hierarchical Softmax是基于哈夫曼树的算法，相对于传统的神经网络来说，Hierarchical Softmax的确可以很大效率的提升模型的速度和效率，但是如果对于某些比较生僻的词来说，因为我们知道哈夫曼树
【自然语言处理之文本分类】——词嵌入Word2Vec之Skip-Gram
weixin_40892064的博客
08-27 98
主要介绍自认语言处理之文本分类，词嵌入word2vec常用的skip-gram方法。
一文详解 Word2vec 之 Skip-Gram 模型（实现篇） _ 雷锋网1
08-03
前言上一篇的专栏介绍了Word2Vec中的Skip-Gram模型的结构和训练，如果看过的小伙伴可以直接开始动手用TensorFlow实现自己的Word2Vec模
一文详解 Word2vec 之 Skip-Gram 模型（训练篇） _ 雷锋网1
08-03
Skip-Gram是Word2vec中的两种模型之一，另一种是CBOW（Continuous Bag of Words）。本篇主要讨论Skip-Gram模型的训练策略。 在Skip-Gram模型中，给定一个中心词，模型的目标是预测其上下文中的词语。传统的训练方式...
word2vec Skip-Gram模型的简单实现
10-24
word2vec Skip-Gram模型的简单实现 包括预料库 从维基百科提取出来的 。代码是python3的，可以直接运行。
Word2Vec Tutorial - The Skip-Gram Model · Chris McCormick.pdf
02-03
Word2Vec Tutorial - The Skip-Gram Model · Chris McCormick.pdf
用python实现skip-gram算法：AAAI-14 accepted papers（NLP）分类任务
01-19
用python动手简易复现了下word2vec中的skip-gram方法，并将嵌入的特征向量与TF-IDF特征和gensim提供的word2vec方法进行了简易对比。 具体内容可参考个人博客。
干货: Skip-gram 详细推导加分析
Jay_Tang的博客
04-17 2112
往期文章链接目录 Comparison between CBOW and Skip-gram The major difference is that skip-gram is better for infrequent words than CBOW in word2vec. For simplicity, suppose there is a sentence “w1w2w3w4w_1w_2...
gram矩阵_Skip-gram
weixin_39999586的博客
11-27 240
Skip-gram标签(空格分隔)：NLP一. skip-gram和cbow的对比 skip-gram与cbow相比，好处在于对于不常用的词，skip-gram的效果要更好；举个简单的例子，一个句子'w1w2w3w4'，window_size=1；对于cbow，模型学习的是预测给定上下文后出现word的概率，或者去最大化下面式子的概率值：​ ...
Word2vec之skip-gram模型理解
Niceloyoo的博客
11-05 2701
一、Word2vec背景 传统的词向量一般使用one-hot表示，但会面临两个问题： （1）高维稀疏的向量带来计算成本 （2）不同的词向量无法正交，无法衡量词之间的相似度。 word2vec是一个将词进行低维稠密向量化的工具，可以通过词向量的方式来表征词的语义信息，即通过一个嵌入空间使语义上相似的单词在该空间内距离很近。Embedding就是一个映射，将单词从原先所属的空间中映射到新的多维空间中。word2vec的训练过程可以看成是单隐层的网络结构： 该网络结构输入层是一个one-hot向量，隐层是一个N维
Python Skip-Gram代码实战，Skip-Gram代码超简单讲解和步骤拆解，Word2vec代码构建思路，Skip-Gram代码实例，模板套用
最新发布
L_goodboy的博客
02-28 1140
Python Skip-Gram代码实战，Skip-Gram代码超简单讲解和步骤拆解，Word2vec代码构建思路，Skip-Gram代码实例，模板套用
word2vector之Skip_Gram模型详解
tt丫的博客
03-13 5325
深度学习入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。 目录 一、前景知识 二、Skip-gram模型思想 三、Skip-gram模型结构分析 1、网络图 2、网络层次级分析 3、注意点 四、代码实现朴素skip-gram 一、前景知识 CBoW模型word2vector之CBoW模型详解_tt丫的博客-CSDN博客 二、Skip-gram模型思想 Skip-gram模型跟CBoW模型是反过来的。 CBoW模型通过上下文来预
skip-gram模型介绍及代码
开到荼蘼的博客
04-21 1万+
在自然语言处理中，首先要把文本转化为数据的形式，更确切地说，是把词转化为向量的形式，才可以用计算机通过各种算法处理自然语言问题。在词向量的表示方法中，One-hot编码是一个非常经典的表示方法，但是在这种编码方法中，词向量的维度等于词的总个数，且词向量中只有一个位置数为1，其他位置全为0，这就导致了词表构成的矩阵是一个稀疏矩阵，它会消耗相当大的计算资源。 word...
python word2vec skipgram 负采样_word2vec原理(三) 基于Negative Sampling的模型
weixin_39548740的博客
12-11 329
word2vec原理(三) 基于Negative Sampling的模型在上一篇中我们讲到了基于Hierarchical Softmax的word2vec模型，本文我们我们再来看看另一种求解word2vec模型的方法：Negative Sampling。1.Hierarchical Softmax的缺点与改进在讲基于Negative Sampling的word2vec模型前，我们先看看Hiera...
【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型
VariableX的博客
06-03 780
系列文章： 【word2vec】篇一：理解词向量、CBOW与Skip-Gram等知识 【word2vec】篇二：基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型 【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型 Negative Sampling是这么一种求解word2vec模型的方法，它摒弃了霍夫曼树，采用了Negative Sampling（负采样）的方法来求解。 负采样算法 在CBOW模型中，
cbow和skipgram区别
05-04
CBOW (Continuous Bag of Words) 和 Skip-gram 是两种用于训练词向量的神经网络模型。 CBOW 模型是将上下文中的多个词的词向量的平均值作为输入，预测中心词的概率分布。它的优点是训练速度快，适合训练大规模语料库。但是它的缺点是无法准确地处理罕见词汇。 Skip-gram 模型则是将中心词作为输入，预测上下文中的多个词的概率分布。它的优点是可以更好地处理罕见词汇，因为它会对罕见词汇进行更多的训练。但是它的缺点是训练速度相对较慢，需要更大的数据集。 因此，选择使用 CBOW 还是 Skip-gram 取决于具体的应用场景和数据集。如果数据集较大，且需要快速训练，可以选择 CBOW；如果需要更好地处理罕见词汇，可以选择 Skip-gram。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dr.sky_

作者逐个题目分析的噢

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值