论文系列1:《Efficient Estimation of Word Representations in Vector Space》

最新推荐文章于 2024-07-09 15:40:47 发布
最新推荐文章于 2024-07-09 15:40:47 发布
阅读量629 收藏 3
点赞数 1
分类专栏： pytorch NLP 深度学习 文章标签： 自然语言处理 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyj223061/article/details/108631509
版权
NLP 同时被 3 个专栏收录
25 篇文章 2 订阅
订阅专栏
pytorch
24 篇文章 2 订阅
订阅专栏
深度学习
24 篇文章 0 订阅
订阅专栏

《Efficient Estimation of Word Representations in Vector Space》

基于向量空间中词表示的有效估计

作者：Tomas Mikolov
单位：Google

语言模型

计算一个句子是句子概率
在这里插入图片描述
在这里插入图片描述
有一些词或者词组在语料中没有出现过，但是这不能代表它不可能存在。Laplace Smoothing也称为加1平滑：每个词在原来出现次数的基础上加1。

问题：

  1. 参数空间过大
  2. 数据稀疏严重

引入马尔科夫假设
𝑃𝑠=𝑃（𝑤1,𝑤2,…,𝑤𝑛）=𝑃（𝑤1）P（𝑤2𝑤1）P（𝑤3𝑤1𝑤2）…P(𝑤𝑛|𝑤1𝑤2…𝑤𝑛−1)
unigram: 𝑃𝑠=𝑃（𝑤1）P(𝑤2)P(𝑤3)…P(𝑤𝑛)
bigram: 𝑃𝑠=𝑃（𝑤1）P(𝑤2|𝑤1)P(𝑤3|𝑤2)…P(𝑤𝑛|𝑤𝑛−1)
trigram: 𝑃𝑠=𝑃（𝑤1）P(𝑤2|𝑤1)P(𝑤3|𝑤1𝑤2)…P(𝑤𝑛|𝑤𝑛−3𝑤𝑛−2𝑤𝑛−1)
k-gram: 𝑃𝑠=𝑃（𝑤1）P(𝑤2|𝑤1)P(𝑤3|𝑤1𝑤2)…P(𝑤𝑛|𝑤𝑛−𝑘…𝑤𝑛−1)
在这里插入图片描述
在这里插入图片描述

论文研究成果

•提出新的模型结构
•提出优化训练的方法，使得训练速度加快
•给出训练代码w o r d 2 v e c，使得单机训练成为可能
•成果：训练的词向量，又快又好

研究意义

  1. 衡量词之间的相似程度
    sim（𝑤𝑜𝑟𝑑1,𝑤𝑜𝑟𝑑2）= cos(𝑤𝑜𝑟𝑑𝑣𝑒𝑐1,𝑣𝑜𝑟𝑑𝑣𝑒𝑐2)
  2. 作为预训练模型提升nlp任务

在这里插入图片描述

Word2vec 评价方法

  1. 内部任务评价
    衡量词向量之间的相似程度
  2. 外部任务评价
    外部任务比如命名实体识别、文本分类

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

lyj157175
关注
专栏目录
论文翻译解读：Efficient estimation of word representations in vector space【Word2Vec】
weixin_43923463的博客
07-08 912
提出了两种新的模型架构，从大数据集中计算单词的连续向量表示1 介绍将words看做原子单位，词间没有相似度，因为word在词汇表中用索引表示，例如N-grams1.1 目标希望相似的单词往往彼此互相靠近，并且单词能够有多重相似度发现单词表示的相似度高于简单的语法规则，使用词偏移技术：V（“king”）- V（“man”） + V（“woman”）约等于V（“queen”“）设计1.2 前人工作词向量技术能够被用来极大程度的提高、简化许多NLP应用2 模型架构主要关注使用神经网络学习到的分布式单词表示，因为神
[Embeding-1]Efficient Estimation of Word Representations in Vector Space 译文
沈春旭的博客
08-25 3556
1. abstract 我们提出了两种新的模型结构，用于计算非常大数据集中单词的连续矢量表示。这些表示的质量是在一个词相似性任务中测量的，并将结果与以前基于不同类型神经网络的最佳表现技术进行比较。我们观察到，在低得多的计算成本下，精度有了很大的提高，也就是说，从16亿字的数据集中学习高质量的字向量只需不到一天的时间。此外，我们还表明，这些向量在测试集上提供了最先进的性能，用于测量句法和语义词的相...
Efficient Estimation of Word Representations in Vector Space
雪丫头的博客
09-09 1164
1.1 Goals of Paper 本文的主要目标是介绍一些技术，这些技术可用于从包含数十亿个单词的庞大数据集中学习高质量的单词向量，并在词汇表中包含数百万个单词。据我们所知，之前提出的架构中没有一个能够成功地训练超过数亿个单词，单词向量的维数在50-100之间。 我们使用最近提出的技术来测量结果向量表示的质量，期望不仅相似的单词彼此接近，而且单词可以具有多个相似度[20]。这在之前的屈折变化语言中已经观察到了——例如，名词可以有多个词尾，如果我们在原始向量空间的子空间中搜索相似的词，就有可能找到具有
Efficient Estimation of Word Representations in Vector Space论文笔记解读
最新发布
m0_52775136的博客
07-09 669
将输出层的单词表示为一个二叉树，其中每个叶子节点都表示一个单词。每个非叶子节点都表示两个子节点的内积，每个叶子节点都表示该单词的条件概率。对于给定的一对（中心单词，上下文单词），我们希望最大化它们的共现概率。最后输出V个概率，复杂度比较高，采用了2重方法降低复杂度，分别是层次softmax和负采样。Word2vec的向量表示能够自动捕捉到单词之间的语义和语法关系。舍弃多分类，把多分类转变成二分类问题（正样本和负样本）。用周围词预测中心词，求和的时候忽略了每个词的顺序。增大正样本的概率，减小负样本的概率。
【Deep Learning学习笔记】Efficient Estimation of Word Representations in Vector Space_google2013
热门推荐
xceman1997的专栏
08-18 1万+
标题：Efficient Estimation of Word Representations in Vector Space 作者：Tomas Mikolov 发表于：ICLR 2013 主要内容： 在NLP中，每一个词语都表示称实数向量的形式（称为word embedding or word representation）。通常词语的实数向量用神经网络进行训练得到，如Ben
nlp论文——《Efficient Estimation of Word Representations in Vector Space》（向量空间中词表示的有效估计）
然后就去远行
10-31 1395
《Efficient Estimation of Word Representations in Vector Space》 作者：Tomas Mikolov, Kai Chen, Greg Corrade, Jeffrey Dean 单位：谷歌 论文来源：ICLR 2013 第一课时：论文导读 （1）语言模型 在自然语言处理研究的早期，人们试图整理出关于自然语言处理的语法，并且根据这些语法去...
词向量-开山之作1-Efficient estimation of word representations in vector space.pdf
07-29
词向量开山之作第一篇，讲述作者第一次提出词向量。在自然语言处理任务中，首先需要考虑词如何在计算机中表示。通常，有两种表示方式：one-hot representation和distribution representation。
NLP论文总结+个人理解（一）：Efficient Estimation of Word Representations in Vector Space
qq_32599109的博客
07-18 256
本文提出了两种用来从大数据集中计算连续词向量表示的新的模型架构。词向量表示的好坏的评估基于一个词相似度任务，结果与先前的基于神经网络的最好性能的一些技术进行了比较。准确率大幅度改进以及更低的计算复杂度。训练的词向量在语法和语义相似度上取得了state of the art 的性能。 许多传统的NLP系统和NLP技术将单词视作“原子单位”-单词之间没有相似度的概念，单词被表示为词表中的索引，这样做有几个好处在大数据集上训练简单的模型比在小数据集上训练复杂的模型更加的鲁棒，简洁。例如: 在大数据集下(trill
NLP系列：Word2Vec原始论文：Efficient Estimation of Word Representations in Vector Space
肥猫64的博客
06-30 1476
译者按： 2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。随着深度学习（Deep Learning）在自然语言处理中应用的...
论文笔记之Efficient Estimation of Word Representations in Vector Space
Ton的博客
02-28 2864
这篇文章可以作为入门Word2vec的一篇论文，文章发表于2013年，其提供了NLP发展至今过程中比较著名的词向量模型之一，即skip-gram和CBOW模型。 参考： ①B站视频 ②论文 Efficient Estimation of Word Representations in Vector Space1 Previous Model Architectures1.1 Feedforward Neural Net Language Model(NNLM)1.2 Recurrent Neural Net
论文阅读：Efficient Estimation of Word Representations in Vector Space
KI的博客
12-01 9568
论文阅读：Efficient Estimation of Word Representations in Vector Space
(30)[ICLR13] Efficient Estimation of Word Representations in Vector Space
gdtop的个人笔记
03-31 1080
计划完成深度学习入门的126篇论文第三十篇，Google的Jeffrey Dean、Greg Corrado、Tomas Mikolov发表的第一排word2vec论文，引用高达10000次，同时也是CS224nLecture1的推荐readings。源码 ABSTRACT&INTRODUCTION 摘要 我们提出了两种新的模型结构，用于从非常大的数据集计算单词的连续向量表示。这些表...
NLP paper精读(五)——Efficient Estimation of Word Representations in Vector Space
NLP翟
07-04 1028
词向量AbstractIntroductionGoals of the PaperPrevious WorkModel ArchitecturesFeedforward Neural Net Language Model（NNLM）Recurrent Neural Net Language Model (RNNLM)Parallel Training of Neural Networks 本篇论文...
1.Efficient Estimation of Word Representations in Vector Space
宋建国的博客
12-16 195
一，语言模型 【定义】：预测每个句子在语言中出现的概率（预测句子在语言中的概率,合法的句子概率较高） 仅仅是对句子出现的概率进行建模，并不会去理解句子的意思 【例子】: 【问题】：每计算一个句子在语言模型中的概率会将整个句子所有可能出现的概率进行乘积 这样会导致参数过多和过于稀疏，因为一个长句子出现的特异性概率是很小的 提出基于马尔科夫假设： 【n-gram】： 二，词向量 【独热编...
Word2Vec(Efficient Estimation of Word Representations in Vector Space)
BUPT-WT的博客
09-21 417
本篇论文的整体结构如下: 对比模型: NNLM RNNLM Word2Vec Skip-Gram CBOW 关键技术 层次softmax 负采样 实验结果 与对比模型的直接对比结果 不同参数的实验 不同模型的效率分析 一、对比模型 语言模型基本思想: 句子中一个词出现和前面的词是有关系的，可以使用前面的词预测下一个词 NNLM： 输入层: 将词映射成向量，相当于一个1*v的one-hot向量乘以一个v*d的向量得到一个1*d...
Word2vec——Efficient Estimation of Word Representations in Vector Space
weixin_44853840的博客
05-10 1225
目录摘要介绍NNLMRNNLMWord2vecLog-linear model原理Skip-gramCBOW研究意义 摘要 提出了两种新颖的模型结构用来计算词向量 采用一种词相似度的任务来评估对比词向量质量 大量降低模型计算量可以提升词向量质量 进一步，在我们的语义和句法任务上，我们的词向量是当前最好的效果 介绍 传统NLP把词当成最小单元处理．并且能够在大语料上得到很好的结果，其中一个例子是N-grams模型 然而很多自然语言处理任务只能提供很小的语料，如语音识别、机器翻译，所以简单地扩大数据规模来
词向量革命：Efficient Estimation的开创性工作
《词向量-开山之作：Efficient Estimation of Word Representations in Vector Space》是自然语言处理领域的里程碑式论文，由Tomas Mikolov等Google研究人员于2013年首次提出。该文章的核心内容聚焦在解决在大规模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值