word2vec 的CBOW，多层softmax,负采样。

最新推荐文章于 2024-07-04 15:29:32 发布
最新推荐文章于 2024-07-04 15:29:32 发布
阅读量3.6k 收藏 5
点赞数 2
文章标签： word2vec CBOW SOFTMAX NEGATIVE_
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41370083/article/details/82730219
版权
CBOW是word2vec的一种方法，通过上下文词向量的求和替代NNLM中的投影层，减少计算复杂性。文章介绍了CBOW模型的简化过程，包括去除隐藏层以提高效率，并探讨了两种优化策略：多层Softmax利用Huffman树降低计算成本，以及负采样方法用于高效训练。
摘要由CSDN通过智能技术生成

NNLM的原理基于N-1个词来预测第N个词，而CBOW是希望用前后N个词来预测中间词，这是CBOW与NNLM的本质区别。

NNLM中存在投影层，将ONE-HOT编码与词库矩阵C进行运算投射，从词库矩阵取出一列。同时对每个词取出的每个列，进行一个concat拼接。

而由于当词库非常巨大时，这个计算是非常耗费时间的。因此，就出现了CBOW

  • CBOW

CBOW将矩阵C直接舍弃，直接把这样一句话中的每个词初始化一个词词向量，这个初始化的词向量就是模型要学习的。

在NNLM中存在projetion layer进行了词组向量拼接，CBOW则是将各个词向量进行求和。假设原本300维的向量，存在3个词，在NNLM中，进行拼接则为900维的向量，而在CBOW中，则进行求和，即还是为300维的向量，大大减少了运算。

 

在NNLM中，在词向量进行拼接后，会存在隐藏层，与隐藏层进行全连接，然后再与SOFTMAX进行求概率。再CBOW中进行了变更，CBOW中去掉了隐藏层，因为隐藏层的全连接计算需要花费大量计算，因此将其去掉，同时我们假设词库为10^8。则我们在进行softmax运算时，需要算出10^8词库中每个词的概率，其起算也是非常巨大，因此在CBOW中， 我们为了高效计算，我们在计算概率时，存在以下两个方式

  • 多层SOFTMAX

最低0.47元/天 解锁文章
勤奋的郑先生
关注
改进版的CBOW模型
及时总结
01-29 1829
复习 首先复习一下之前的CBOW笔记。 采用推理的方法认知单词、CBOW模型这里面主要是： CBOW模型的核心思路：给出周围的单词（上下文）时，预测目标词处会出现什么单词。 要用神经网络处理单词，需要先将单词转化为固定长度的向量，这就引出了单词的表示。 单词的表示：将单词转化为固定长度的向量(one-hot 表示)，神经网络的输入层的神经元个数就可以固定下来。 CBOW模型：它是根据上下文预测目标词的神经网络。模型的输入是上下文。大致结构如下。 上图中的Win和Wout都是矩阵，也就是说，全连接层变换可以
word2vec中的负采样
qq_17854471的博客
06-20 588
对于自然语言处理，word2vec是和切词并列的基本处理手段，对于word2vec，有篇文章讲解的很详细，从背景知识到具体算法，讲的挺透彻的，推荐一下： https://blog.csdn.net/a819825294/article/details/52438625 但是对于其中的关键点，负采样，我一直看的云里雾里，不知道到底是什么原理，让神经网络的训练变得更加高效，搜了很多文章，终于搞懂了一点...
NLP - Softmax与层次Softmax对比
最新发布
weixin_47552266的博客
07-04 1563
词汇Softmax 概率层次Softmax 概率apple0.4450.525banana0.1640.0702cherry0.2700.3472date0.1210.0575以上结果显示了传统Softmax和层次Softmax的概率计算方法及其结果。通过构建霍夫曼树，层次Softmax显著减少了计算复杂度，特别适用于处理大规模词汇表的任务。特点Softmax层次Softmax计算复杂度O(N)O(log(N))优点简单直接，适用于小型词汇表。
word2vec原理(三) 基于Negative Sampling的模型
weixin_33985507的博客
11-22 859
1.Hierarchical Softmax的缺点与改进 　　　　在讲基于Negative Sampling的word2vec模型前，我们先看看Hierarchical Softmax的的缺点。的确，使用霍夫曼树来代替传统的神经网络，可以提高模型训练的效率。但是如果我们的训练样本里的中心词ww是一个很生僻的词，那么就得在霍夫曼树中辛苦的向下走很久了。能...
【NLP】word2vec负采样
weixin_46776511的博客
10-26 1528
word2vec负采样介绍
word2vec中的负采样问题
FULISANREN的博客
09-01 1414
word2vec中的负采样问题
word2vec语义分析.rar
06-14
Word2Vec主要由两种模型构成：Continuous Bag of Words (CBOW) 和 Skip-gram。CBOW模型通过上下文单词预测目标单词，而Skip-gram则是通过目标单词预测上下文单词。这两种模型都是基于神经网络，通常采用简单的多层...
word2vec源码-C语言版
08-06
- CBOW和Skip-gram模型的核心是多层感知机（MLP），在Word2Vec中通常采用简单的单隐层神经网络。 - 训练过程中，通过随机梯度下降（SGD）优化损失函数，更新词向量。 3. **预处理**: - `word2phrase`将文本中的...
word2vec词向量入门
03-29
word2vec支持两种主要模型：**CBOW (Continuous Bag-of-Words)** 和 **Skip-Gram**。 - **CBOW**: 这种模型基于上下文来预测中心词。简而言之，它是通过对给定上下文词的平均值或加权和进行处理来预测中心词。 - **...
Word2vec算法原理
08-01 346
word2vec 是 Google 于 2013 年开源推出的一个用于获取词向量（word vector）的工具包，它简单、高效，因此引起了很多人的关注。 1.单词的向量化表示 所谓的word vector，就是指将单词向量化，将某个单词用特定的向量来表示。将单词转化成对应的向量以后，就可以将其应用于各种机器学习的算法中去。一般来讲，词向量主要有两种形式，分别是稀疏向量和密集向量。 所谓稀疏向量，又称为one-hot representation，就是用一个很长的向量来表示一个词，向量的长度为词典的
Hierarchical Softmax和负采样
qq_38721353的博客
03-19 499
LSTM的目标函数是： 其中， 但是计算这个概率的分母涉及的计算量太大了，需要在整个字典上计算，所以我们有两种方法去改进这个目标函数。 Hierarchical Softmax：(原因：减少时间复杂度） 层级softmax是在输出层构造一个哈夫曼树，词频为权重，叶子节点为标签，根节点为上一层的输出。对于每个叶子节点，从根节点有唯一一条路径到叶子节点。叶子节点没有对应的向量，而非叶子节点有对应的...
word2vec梳理--part2--负采样
人month神话
04-18 4547
在word2vec的第2部分（第1部分在这里（https://blog.csdn.net/fengrucheng/article/details/115705827）），将介绍对skip-gram模型的一系列优化，这些优化使得训练切实可行，因此非常重要。 首先再明确一下我们的任务本质：skip模型--输入中间词，输出周围词（这与CBOW模型不同--输入周围词，输出中间词） 当你看一些关于Word2Vec的skip-gram模型的教程时，你可能已经注意到了一些东西——这是一个巨大的神经网络！ 在之.
word2vec （CBOW、分层softmax、负采样）
weixin_30508241的博客
07-14 757
本文介绍 wordvec的概念 语言模型训练的两种模型CBOW+skip gram word2vec 优化的两种方法：层次softmax+负采样 gensim word2vec默认用的模型和方法 未经许可，不要转载。 机器学习的输入都是数字，而NLP都是文字； 为了让机器学习应用在NLP上，需要把文字转换为数字，把文字嵌入到数学空间。 1. 词表示： 词的独热表示：onehot ...
Word2Vec之Hierarchical Softmax与Negative Sampling
LiQZ的博客
05-03 691
对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！ 如果有需要Word2Vec原理与公式推导的同学可以移步：Word2Vec原理与公式详细推导。 为了方便大家看参考资料，这里同样重新弄出来： [1]Rong Xin. word2vec Parameter Learning Explained[J]. CoRR, abs/1411.2738, 2014. [2]皮果提.word2vec 中的数学原理详解（四）基于 Hierarchical Softmax 的模
语言模型,word2vec,Negative Sample(负采样) Hierarchical Softmax(层次softmax)
Jiashilin
04-20 1105
目录 1.语言模型: 2.最早的语言模型的问题: 3.N-gram(统计词频) 4.词向量(利用神经网络) 4.1word2vec 4.2、两种训练模式 4.3、两种加速方法 refrence: 1.语言模型: 更多语言模型参考https://www.cnblogs.com/rucwxb/p/10277217.html,(ELMo,BERT) 2.最早的语言模型的...
CBOW
热门推荐
u012654154的博客
07-12 1万+
本文简述了以下内容：       神经概率语言模型NPLM，训练语言模型并同时得到词表示       word2vec：CBOW / Skip-gram，直接以得到词表示为目标的模型           （一）原始CBOW(Continuous Bag-of-Words)模型           （二）原始Skip-gram模型           （三）word analogy 神经
word2vec层次化softmax理解
morein2008的专栏
03-09 656
在外网发现一篇把word2vec的hierarchical softmax优化讲得比较好的博客，详见：http://building-babylon.net/2017/08/01/hierarchical-softmax/ 总结： 1、层次化softmax是为了解决用softmax进行V分类时(V是词典大小)，由于词典巨大导致计算目标词的似然概率的低效问题。 2、层次化softmax通常和CBO...
word2vec原理及其Hierarchical Softmax优化
weixin_41798058的博客
01-25 1328
文章目录一、什么是word2vec？1.1 词嵌入（word embedding）介绍1.2 word2vec概述CBOW2.1 Context滑动窗口2.2 模型结构三、Hierarchical Softmax优化3.1 从输入输出的降维到哈夫曼编码3.2 哈夫曼编码（Huffman Coding）3.3 从哈夫曼编码到Hierarchical Softmax3.3 模型的训练3.3.1 损失函数（Loss Function）3.3.2 模型的初始化3.3.3 模型的迭代四、准确率评估【附】参考资料gen
word2vec CBOW代码
08-19
Word2vec CBOW模型的代码可以在这篇文本处理算法汇总文章中找到。具体的代码如下所示： ``` from keras.models import Sequential from keras.layers import Embedding, Dense, Merge # 定义CBOW模型 model = ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值