Word2Vector之详解Skip-gram

最新推荐文章于 2024-08-15 09:36:21 发布
最新推荐文章于 2024-08-15 09:36:21 发布
阅读量2.6k 收藏 4
点赞数 4
分类专栏： NLP 机器学习 学习笔记 人工智能之核——NLP 文章标签： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jasonzhoujx/article/details/83747160
版权
本文详细介绍了Word2Vector中的Skip-gram模型，该模型旨在通过当前词预测上下文词的概率。网络结构包括输入层、映射层和输出层，其中隐藏层权重矩阵即为词向量。训练过程涉及词汇对提取和Softmax激活函数，词向量的物理意义在于，相似上下文的词将得到相似的词向量。
摘要由CSDN通过智能技术生成

​ 谷歌2013年提出的word2vector是目前最常用的词嵌入模型之一。Word2Vector实际上是一种浅层的神经网络模型，它有两种网络结构，分别为CBOW（Continues Bag of Words）和Skip-gram，这篇文章主要是介绍Skip-gram。

​ Skip-gram的主要目标是根据当前词来预测上下文中各个词的生成概率。比如说对于训练后的网络，给定一个输入“soviet”，输出概率高的单词应该是像"Union"或者“Russia”而不是像“watermelon”或“kangaroo”之类的单词。

网络结构

Skip-gram可以表示为由输入层（Input）、映射层（Projection）和输出层（Output）组成的神经网络。
神经网络的层次

  • 输入的表示：输入层中每个词由独热编码方式表示，即所有词均表示成一个N维向量，其中N为词汇表中单词的总数。在向量中，每个词都将与之对应的维度置为1,其余维度的值均为0。

  • 网络中传播的前向过程：输出层向量的值可以通过隐含层向量（K维），以及连接隐藏层和输出层之间的KxN维权重矩阵计算得到。输出层也是一个N维向量，每维与词汇表中的一个单词相对应。最后对输出层向量应用Softmax激活函数，可以计算每一个单词的生成概率。Softmax函数定义为：

    P ( y = w n ∣ x ) = e x n ∑ k = 1 N e x k P(y=w_n|x) = \frac {e^{x_n}}{\sum _{k=1} ^{N}{e^{x_k}}} P(y=w

最低0.47元/天 解锁文章
盐味橙汁
关注
专栏目录
Keras深度学习实战（25）——使用skip-gram和CBOW模型构建单词向量
盼小辉丶的博客
09-14 4553
在学习了如何从零开始构建了一个用于计算单词向量的模型之后，我们在本节介绍了如何使用 gensim 库构建 skip-gram 和 CBOW 模型获取单词向量，从而得到了更加准确的单词向量。最后，为了克服数据集中句子数量太少而导致的模型鲁棒性较差的问题，我们介绍了如何使用预训练的单词向量执行向量算术。
word2vector入门教程
热门推荐
SCUT_Sam
01-13 1万+
摘要： 网上已经有许多对w2v的介绍了，这里只是做一个简单的概括。下面这篇文章我认为是关于W2V写的比较好的文章，读者有兴趣可以先参考一下： w2v参考文章1 另外一篇是关于Skip-Gram和CBow的介绍。 Skip-Gram&CBOW 逻辑比较清晰的综述文章： 综述文章 数学原理很清晰很短的一篇文章（也有关于负采样的简单说明） 参考文章 1.什么
word2vector
abc781cba的博客
01-17 416
转自：http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/半路出家转到nlp领域（确切的说在语言模型组），在nlp不能不知道word2vector；对于这些高大上的领域确实挺好奇，加上它对于训练神经网络语言模型确实很重要（副产品），就催生了这篇文章。网上关于背景说了很多，这边就不再说了，主要是要了解一下on
一文彻底搞懂Transformer - Word Embedding（词嵌入）
最新发布
2401_85377976的博客
08-15 1157
词嵌入与早期的文本表示方法，如ASCII相比，词嵌入技术具有显著的优势。ASCII虽然有效地实现了文本的渲染和传输，但它无法传递词汇的深层含义。而词嵌入技术则能够捕捉到单词之间的语义关系，使得计算机能够在语义层面理解和处理语言。**Word Embedding这一创新使得语义搜索成为可能，我们能够更精准地理解和分析不同语言的文档。这一进步正在改变我们在数字时代处理信息的方式，使得我们能够更高效地处理和分析大量的文本数据。**
word2vector(含code)
weixin_30511107的博客
08-07 229
Word2Vec其实就是通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。 Embedding其实就是一个映射，将单词从原先所属的空间映射到新的多维空间中，也就是把原先词所在空间嵌入到一个新的空间中去。 Word2Vec模型实际上分为了两个部分，第一部分为建立模型，第二部分是通过模型获取嵌入词向量。Word2Vec的整个建模过程实际上...
知其然知其所以然之——word2vector
老哥的专栏
10-14 3369
在学习word2vector的过程中，下面两位博主的总结及讲解给了我很大帮助。本文主要是记录在学习和理解他们的博客的过程中个人也有一些思考和理解。本人才学疏漏，有错误的地方请大家指正。 http://blog.csdn.net/itplus/article/details/37969519 http://blog.csdn.net/mytestmy/article/details/2696914
word2vec（一）——skip-gram原理理解
qq_31267769的博客
08-28 5989
1 什么是word2vec word2vec顾名思义，就是将词（word）映射到（to）实向量（vector），用一一实数向量表示一个词，也被叫做词嵌入（word embedding），也可以认为词向量是词的特征向量。通过这种词嵌入的方式可以将词语映射为可以计算的数学形式，使计算机对自然的语言的计算变得更加可行，同时也赋予了它一定的数学性质，例如可以用向量的相似度来表示两个词的相似度等等。word2vec可以参考这篇文章中有提到https://blog.csdn.net/qq_31267769/artic
word2vec之一发入魂（1）：CBOW, Skip-gram原理详解
qq_33397016的博客
04-18 1572
1. 摘要 在自然语言处理中，计算机往往难以处理复杂的文字系统。因此，如何把“文字”转换成计算机易处理的形式成为了一个亟需解决的问题。为解决这一问题，word2vec用于一个实数域的向量来表征一个单词，该向量也被称为词向量（），这个转换过程，也被称为word embedding。本来将简要介绍word2vec模型中包含的两个经典算法：CBOW与Skip-gram模型。 2. one-hot编码 在...
word2vec（一） CBOW与Skip-Gram模型基础
浮汐潇潇
02-20 2259
1. 词向量 词向量就是用来将语言中的词进行数学化的一种方式，顾名思义，词向量 就是把一个词表示成一个向量。这样做的初衷就是机器只认识0 1 符号。所以，词向量是自然语言到机器语言的转换。 Word2Vec其实就是通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。Embedding其实就是一个映射，将单词从原先所属的空间映射到新的多维空间中，也...
word2vector的数学原理
08-24
word2vector的数学原理
word2vec 中的数学原理详解PDF版.pdf
09-27
word2vec 中的数学原理详解 好资源要分享 ~
深度学习必须熟悉的算法之word2vector（一）
lsxxx2011的专栏
05-10 956
作者:milter链接:https://www.jianshu.com/p/1405932293eaword2vector已经成为NLP领域的基石算法。作为一名AI 从业...
word2Vector的原理详解
sinat_24330297的博客
10-11 770
word2Vector的原理详解 原型：NNLM(Neural Network Language Model) 这个模型其实就是一个结构简单的神经网络，MLP模型。输入层，隐藏层（也许有两层，看个人设计），接softmax输出。它的作用是通过前 N-1 个词，推测出第 N 个词是什么。 举个栗子，有一句话 “我今天中午吃的涮羊肉”。这个词要输出模型的话得把它先分词，分词成 ”我“， ”今天“，...
Word2Vector
戴唯的博客
10-08 545
Word2vec 词向量的概念 将 word映射到一个新的空间中，并以多维的连续实数向量进行表示叫做“Word Represention” 或 “Word Embedding”。自从21世纪以来，人们逐渐从原始的词向量稀疏表示法过渡到现在的低维空间中的密集表示。用稀疏表示法在解决实际问题时经常会遇到维数灾难，并且语义信息无法表示，无法揭示word之间的潜在联系。而采用低维空间表示法，不但解决了
Word2vector
u012290039的专栏
06-01 679
Word2vector可以说是nlp的基石，但是其思想不仅仅局限在nlp，比如广告推荐中id的embedding也可以应用，本篇就来梳理一下w2v的思想。 目录1，基本思想2，counting3，Skip-gram（Continuous Skip-gram Model）3.1 数据处理3.2 网络结构3.3 Skip-gram的改进4，CBOW（Continuous Bag-of-Words Model）5，总结 1，基本思想 Word2vector（简称w2v），字面上理解就是“词”转化为“向量”，或者
word2vector的原理，结构，训练过程
吴祺育的技术记录
12-14 2679
之前用word2vector模型，上网找原理，出现各种CSDN上的解答。看了一下，都是copy某个人写的东西，而且什么CBOW，什么Skip-Gram，什么哈夫曼树，层次softmax，概念很多，绕都给绕晕了。 看了很多遍，只知道个大概，具体还是没看懂。今天重新整理关于word2vector的原理。以一个好的脉络把这个模型理清楚。 原型:NNLM（Neural Network Language ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值