经典论文《Efficient Estimation of Word Representations in Vector Space》学习笔记

最新推荐文章于 2022-12-23 16:55:15 发布
最新推荐文章于 2022-12-23 16:55:15 发布
阅读量571 收藏
点赞数 1
分类专栏： 自然语言处理 文章标签： 学习 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45768308/article/details/127453540
版权

阅读论文必备知识

论文
● 统计语言模型中的平滑操作
有一些词或词组在语料中没有出现过，但是这不能代表它不可能存在
平滑操作就是给那些没有出现过的词或者词组也给一个比较小的概率
● 平滑操作的问题
参数空间过大
数据稀疏严重
● 马尔科夫假设
下一个词的出现仅依赖于前面的一个词或几个词语言模型评价指标:困惑度语言模型是无监督的任务
在这里插入图片描述

● softmax函数，指数操作，让数为正数，使它成为0到1之间
● batch问题，批次，补pad位，rnn可变长输入
● 语言模型评价指标
在这里插入图片描述

1.论文核心部分研读

在这里插入图片描述

1.1 word2vec的基本思想

在这里插入图片描述

1.2 skip-gram原理

在这里插入图片描述
首先映射成一个one-hot向量，与词向量矩阵相乘，得到1*D的词向量，再与周围词向量矩阵相乘，得到1*V向量，再经过softmax函数得到每个词的概率，通过索引知该词的概率，目标是要使该词的概率越大越好，再经过梯度反向传播，将w和w训练，一般取w或者w和w的平均值
输出层表达式： p ( w i − 1 ∣ w i ) = p(w_{i-1}|w_i)= p(wi−1​∣wi​)=
e x p ( u w i − 1 T v w i ) ∑ j = 1 V e x p ( u w T v w i ) \frac{exp(u_{w_{i-1}}^{T} v_{wi})}{\sum_{j=1}^{V} exp(u_{w}^{T}v_{wi} )} </

最低0.47元/天 解锁文章
[论文笔记] [2013] [ICLR] Efficient estimation of word representations in vector space
Alexzhuan
06-30 1016
这篇论文便是word2vec的原论文，是入门NLP的必读论文。
论文笔记--Efficient Estimation of Word Representations in Vector Space
最新发布
weixin_38124427的博客
06-03 597
Word2Vec原文阅读：高效且高质量的预训练词嵌入
读word2vec经典论文《Efficient Estimation of Word Representations in Vector Space》读书笔记
asexdcrfvgb的博客
10-28 992
读了word2vec经典文章《Efficient Estimation of Word Representations in Vector Space》后，简单记录一下作者提到的三种模型，作为自己的读书笔记 总时间复杂度：O = ETQ E是有多少个把样本从头到尾全部训练一遍的次数epoch T是每个epoch把样本集合分为多少个batch Q是每个batch的时间复杂度 这篇文章好像没有分bat...
Efficient Estimation of Word Representations in Vector Space 笔记
xuanshuang的博客
02-17 1003
先上这篇paper链接：https://arxiv.org/pdf/1301.3781.pdf 摘要 这篇paper介绍了两种可从大规模数据集计算continuous vector representations of words的模型。（这边的continuous或可理解为上下文中心词是连在一起的；亦或相对于one-hot编码的非0即1，各维度上都是实数）。在单词相似性任务中衡量这些representations 的性能，并将结果与以前基于不同类型神经网络的优秀的模型进行比较。在更低的计算成本下，准确
Efficient Estimation of Word Representations in Vector Space论文记录
Novelin的博客
01-04 159
Bag of Words Skip Gram
论文笔记之Efficient Estimation of Word Representations in Vector Space
Ton的博客
02-28 3203
这篇文章可以作为入门Word2vec的一篇论文，文章发表于2013年，其提供了NLP发展至今过程中比较著名的词向量模型之一，即skip-gram和CBOW模型。 参考： ①B站视频 ②论文 Efficient Estimation of Word Representations in Vector Space1 Previous Model Architectures1.1 Feedforward Neural Net Language Model(NNLM)1.2 Recurrent Neural Net
[论文笔记] [2013] [NIPS] Distributed Representations of Words and Phrases and their Compositionality
Alexzhuan
07-02 508
这篇论文的作者 Mikolov 基于他前面的工作——skip-gram model学习 word embedding，提出了几个提高词向量性能和训练速度的技巧，以及如何学习短语的表示。 这篇论文的主要贡献为： 利用 subsampling 加速训练和提高词向量的质量； 对 Noise Contrastive Estimation（NCE）做了一些简化，提出了 Negative sampling 来优化模型训练速度； 尝试学习短语的表示。 The Skip-gram Model Mikolov 之前的工作
笔记：PoseCNN:A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
kadima_WEI的博客
12-23 1160
一种新的用于6D物体姿态估计的卷积神经网络PoseCNN
PyTorch笔记 - Word Embeddings & Word2vec 原理与源码
AGI
12-07 538
改进2：优化SoftmaxSoftmax计算量跟K呈线性关系，单词维度Hierarchical Softmax，参考详解Hierarchical Softmax，Huffman树可以降低复杂度，由单词表数量K，降低为log2Klog_{2}Klog2​K改进3：引入负采样Continuous Bag of Words (CBOW)Skip-gramEmbedding: 输出： Word Embeddings 输出：
吴恩达深度学习推荐论文列表[附论文链接]
IDrandom的专栏
10-09 2107
看到了第四课，发现出现了一些论文，就回头翻了翻，想着把这些论文都粗略的读下 第一课：NeuralNetworks & Deep Learning 并没有 第二课：Improving Deep Neural Networks :Hyperparameter tuning, Regularization and Optimization Dropout Srivastava, Nitish,...
论文阅读：Efficient Estimation of Word Representations in Vector Space
KI的博客
12-01 9802
论文阅读：Efficient Estimation of Word Representations in Vector Space
论文翻译解读：Efficient estimation of word representations in vector space【Word2Vec】
weixin_43923463的博客
07-08 1068
提出了两种新的模型架构，从大数据集中计算单词的连续向量表示1 介绍将words看做原子单位，词间没有相似度，因为word在词汇表中用索引表示，例如N-grams1.1 目标希望相似的单词往往彼此互相靠近，并且单词能够有多重相似度发现单词表示的相似度高于简单的语法规则，使用词偏移技术：V（“king”）- V（“man”） + V（“woman”）约等于V（“queen”“）设计1.2 前人工作词向量技术能够被用来极大程度的提高、简化许多NLP应用2 模型架构主要关注使用神经网络学习到的分布式单词表示，因为神
[Embeding-1]Efficient Estimation of Word Representations in Vector Space 译文
沈春旭的博客
08-25 3632
1. abstract 我们提出了两种新的模型结构，用于计算非常大数据集中单词的连续矢量表示。这些表示的质量是在一个词相似性任务中测量的，并将结果与以前基于不同类型神经网络的最佳表现技术进行比较。我们观察到，在低得多的计算成本下，精度有了很大的提高，也就是说，从16亿字的数据集中学习高质量的字向量只需不到一天的时间。此外，我们还表明，这些向量在测试集上提供了最先进的性能，用于测量句法和语义词的相...
读论文《Efficient Estimation of Word Representations in Vector Space》
知行_那片天
08-23 2379
词的分布式表示（又称词嵌入，word embedding）因为这篇文章开始大火，原来的word embedding只是神经网络语言模型的副产物，而该论文的主要的目标是训练具有语义特征的word embedding。
论文《Efficient Estimation of Word Representations in Vector Space》阅读心得
xuqn0606的博客
04-07 4474
本来应该将Tomas的三篇论文一起读完再写的，但是因为这段时间事情比较多，先写一篇后面的再补上。由于自己刚开始看论文理解能力不够，如有错误欢迎大家指出来，我再修改。    本片论文作者是Tomas Mikolov，他在谷歌是研究的是word2vec，现在跑去了facebook，都很厉害啊！这篇主要讲了word2vec与之前的语言模型例如 NNLM等在语义语法上、训练速度上的比较。总结来说有一下几点...
【机器学习】word2vec学习笔记（一）：word2vec源码解析
长相忆兮长相忆的专栏
04-30 1478
本文主要对google的word2vec源码进行了简要的分析，并给出了源码的一些注释。对于word2vec的算法原理并没有进行深入的讨论。
Efficient Estimation of Word Representations in Vector Space
qq_27009517的博客
11-26 7250
提出两个新颖的模型来计算词的连续向量表示，这些表示的质量用词的相似度来计算，结果和其他表现最好的技术进行比较。我们发现有很大的提高而且计算量低，比如1.6百万的词只需要不到一天的计算，而且这些向量对于语义和语法的相似度的计算获得最好的成绩。   1 Introduction 一些NLP任务把词作为原子单元，词与词之间没有相似度，是作为词典的下标表示的，这种方法有几个好处：简单，鲁棒性，在大数...
论文系列1:《Efficient Estimation of Word Representations in Vector Space》
lyj223061的博客
09-16 681
《Efficient Estimation of Word Representations in Vector Space》 基于向量空间中词表示的有效估计 作者：Tomas Mikolov 单位：Google 语言模型 计算一个句子是句子概率 有一些词或者词组在语料中没有出现过，但是这不能代表它不可能存在。Laplace Smoothing也称为加1平滑：每个词在原来出现次数的基础上加1。 问题： 参数空间过大 数据稀疏严重 引入马尔科夫假设 ????????=????（????1,????2,
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值