词嵌入(word2vec)-NNLM（Neural Network Language Model）

最新推荐文章于 2022-10-23 21:11:17 发布
最新推荐文章于 2022-10-23 21:11:17 发布
阅读量423 收藏 3
点赞数
分类专栏： Nature language Programming
  1. 基本概念 
    词编码 
    向量空间子结构 
    One-Hot 
    Bag of words(词袋模型) 
    TF-IDF 
    语言模型 
    分布式表示 
    共现矩阵
  2. NNLM（Neural Network Language Model）神经网络语言模型 
    NNLM的基本思想 
    NNLM原理 
    projection layer 
    SoftMax层 
    hidden layer

1.基本概念

传统的机器翻译，自然语言处理多是基于规则的，现在更多的是基于模型，规则隐含的参数里。

词编码 
每个词都用不同的含义，而要被机器所识别，就必须要把词进行编码，同时词编码时要保证词的相似性。图像识别的时候，对图像在RGB三个颜色通道中看他们的相似性就可以了，但是，无论中文还是英文，词都太多了，他是人造的，很难保持像图片这样的信息，所以我们希望能对词进行编码，保持它所包含的信息量。

因此，我们希望能有一个对应关系，如图，这些数字在空间中的表示能有一个对应关系。这不就是和机器学习差不多吗？很多机器学习的预测都是寻找一个对应关系，也就是数据（X）和预测的东西（Y）的对应。机器翻译其实原理也差不多。 
这里写图片描述

向量空间子结构 
我们希望找到这样一个关系，可以作为机器学习/深度学习的输入.

VKing−VQueen+VWomen=VMan
这个有没有感觉呢？其实换成这样，你可能更好理解:
VKing−VQueen=VMan−VWomen
我们就是希望找到 King,Queen 之间的差异，隐含的关系，然后通过一个dense vector表示。

One-Hot 
最简单的一种想法，就是对一句话用one-hot编码:比如对于这句话：

John likes to watch movies,Mary likes too.
John also likes to watch football games.
"John":1,"likes":2,"to":3,"watch":4,"movies":5,"also":6,"football":7,"games":8,"Mary":9,"too":10
用one-hot可以表示为：
John:[1,0,0,0,0,0,0,0,0,0]likes:[0,1,0,0,0,0,0,0,0,0]...too:[0,0,0,0,0,0,0,0,0,1]
但事实是，这样做耗费的资源太多，而且不能很好的表征每句话的特性。

Bag of words(词袋模型) 
另一种方法则是词袋模型，它相当于一个词袋，不考虑词/句之间的相关性，只要出现了该词，就会记为1，再次出现就会+1。比如前面的那句话：

John likes to watch movies,Mary likes too.
可以表示为
[1,2,1,1,1,0,0,0,1,1]
与其相似的是 binary weighting,它就是看一下每个词是否出现，出现记为1，没出现记为0
[1,1,1,1,1,0,0,0,1,1]
但他们都有一个缺点，不能将每个单词所代表的中心表示出来，比如John 和to,watch他们都是1，怎么直到那个词更重要呢/

TF-IDF 
因此，就有tf-idf解决这个问题，它的主要思路就是有两方面： 
A—第一就是如果这个词在我们当前文档出现的频率非常高，说明它在当前文档应该是比较重要的。 
B-但如果它在所有的文档中出现的频次都非常好，大家可能就会觉得这个词应该不是那么重要的。

比如中文的“的“，或者我们上面那两个句子中的to. 
因此，tf-idf就是一个在当前文档和所有文档中权衡他们的重要性，然后计算出每个词的重要度的方法。

语言模型 
语言模型可以考虑到词之间的前后关系，我在这篇文章中举了非常详细的例子以及原理解释。神奇的贝叶斯思想 
缺点就是n-gram随着预料的增多，离散化越严重，最终导致数据稀疏的问题。

分布式表示 
如果数据的维度过高，经常需要用到分布式来表示，它是个什么东西呢？ 
比如有这么一个例子：

红色的大型卡车，黄色的中型轿车，蓝色的小型电动车
可以发现，这几个词之间都有一定的模式存在，我们可以通过这些模式，把表达的空间压缩的三个维度：颜色，车型，那个品牌的车。然后他们做一个笛卡尔积就可以有:
需要记忆的单元数=颜色 X 型号 X 车型

其中，在现代统计自然语言处理中，有一个非常有洞见的想法，就是：

能否用一个词附近的其他词来表示该词？
就像你认识一个新认识的朋友，想直到他的收入，你可以看一下他周围10个朋友的收入大致是多少，来推断他的收入是多少一样。

共现矩阵 
基于前面那个想法，就有了这样一个局域窗口，这个窗口的主要作用就是看一下周围的几个词才好，窗口的长度一般设为5-10。就像你看你朋友的收入一样，你是看周边的五个人还是10个人呢？

那他具体怎么表示呢？ 
假设为三句话： 

I like deep learning,I like NLP,I enjoy flying

假设局域窗口为1，可以得到这样的对称矩阵 
这里写图片描述 
可以发现 I 的前后一共出现了2次 like ,所以第一行第二列是2。

其实共现矩阵的本质代表着词与词之间的连接，且不考虑顺序。因为他是对称的，所以一般会取行向量或者列向量来表示词向量。

其中面临的问题就是向量的维数随着词典的大小呈先行增长，且对于模型有着严重的稀疏性问题。

2.NNLM（Neural Network Language Model）神经网络语言模型

NNLM的基本思想

在一开始的时候，做自然语言处理可以发现很多问题，比如很多情况下，要做平滑处理等，因此深度学习慢慢开始火了之后，就有人说，不然咱来试一下神经网络来做这个吧。

他的本质就是：直接从语言模型出发，将模型最优化的过程转换为求词向量表示的过程。 
最优的方向是这个目标函数：用“我爱自然语言处理“为例,窗长度为n-1：

L(θ)=∑tlogP(Wt|Wt−1,Wt−2,…,Wt−n+1)=logP(′我′)+logP(′爱′|′我′)+⋯+logP(′处理′|′语言′,′自然′)
这个是n=3的通俗表达。 
概率p满足归一化条件，因为词典中的每个词都有一个概率:
∑w∈(vocabulary)P(w|wt−n+1,…,wt−1)=1

NNLM原理 
其原理图如下，我们先从第一层说起

他的使用场景是这样的：假设我们有一分文本，我们可以通过他的前 N−1 个词预测他的第N个词应该是什么？

projection layer 
假设我们的句子是“我爱自然语言处理“，拆开就是‘我’，’爱’，’自然’，’语言’，一共四个词，预测一下，下一个词是什么？ 
如果每个词都给一个索引表示，’我’为0，’爱’为1。

C矩阵为投影矩阵，其中词典的维数为v，假设v=10000。 

C=(W1,W2,…,Wv)=⎡⎣⎢⎢⎢⎢⎢(W1)1(W1)2⋮(W1)D(W2)1(W2)2⋮(W2)D⋯⋯⋱⋯(Wv)1(Wv)2⋮(Wv)D⎤⎦⎥⎥⎥⎥⎥

那么‘我‘和‘爱‘的one-hot向量表示为：

⎛⎝⎜⎜⎜⎜⎜⎜10…00⎞⎠⎟⎟⎟⎟⎟⎟,⎛⎝⎜⎜⎜⎜⎜⎜01…00⎞⎠⎟⎟⎟⎟⎟⎟
每个列向量都有 D 行，那么一个词对应的列向量乘以这个矩阵 C 就可以得到
(D X v) x (v X 1)=D X 1
这样的乘法相当于把一个句子中的一个词取出来了，将每个词的结果进行拼接，就可以得到一句话，这句话的向量表示为
5D X 1
的列向量。

总结一下这一层做的事：主要是把一句话用one-hot向量表示，通过一个权重矩阵，得到表示这一句话的词向量。

hidden layer 
这一部分主要做的就是将上一层的输出作为输入，进行全连接，然后一般会有个tanh，来处理这些数据。

SoftMax层 
隐层出来之后，接一个SoftMax分类器，预测一下，在这10000个词的词表中，出现每个单词出现概率有多大。因此拿到的是一个

10000X1
的概率向量。 
因为我们有标准答案，就是”我爱自然语言”的第五个词应该是“处理“，如果预测出来的不准确，就可以通过定义一个交叉熵损失函数来计算损失，通过BP算法来调整参数C。

 
张博208
关注
专栏目录
词嵌入(Word2Vec)
sikh_0529的博客
09-15 1万+
⾃然语⾔是⼀套⽤来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是⽤来表⽰词的向量，也可被认为是词的特征向量或表征。**把词映射为实数域向量的技术也叫词嵌⼊（word embedding）。**近年来，词嵌⼊已逐渐成为⾃然语⾔处理的基础知识。在NLP(自然语言处理)领域，文本表示是第一步，也是很重要的一步，通俗来说就是把人类的语言符号转化为机器能够进行计算的数字，因为普通的文本语言机器是看不懂的，必须通过转化来表征对应文本。早期是基于规则的方法进行转化，而现代的方法是。
Paper Reading-1-Recurrent neural network based language model
东泰山的博客
08-12 1216
目录 说明 引用文献 摘要 绪论 模型描述 优化 WSJ实验 NIST RT05实验 Recurrent neural network based language model 说明 这篇文章引自Mikolov 等人2010年经典论文，主要介绍了基于语言模型的RNN模型，详细描述了模型的训练及优化过程，并在WSJ和NIST RT05测试集上进行了论证，得到了较好的效果。本人在...
Neural Network Language Model（NNLM）
weixin_41370083的博客
09-13 1765
Neural Network Language Model（NNLM）神经网络语言模型 原理图： 运用场景： 知道句子的前N-1个词，来预测第N个词。 网络的流程： 1.词语one-hot编码—————2.projection_layer层————3.hidden_layer层——————4.SoftMax层 词语One-hot编码 句子：“我爱自然语言处理” 词库为：”...
NNLM（Neural Network Language Model）模型
很吵请安静
04-30 556
论文链接 定义 词汇表VVV，w1⋯wTw_{1} \cdots w_{T}w1​⋯wT​表述词汇表中的单词 目标函数，f(wt,⋯ ,wt−n+1)=P^(wt∣w1n−1)f\left(w_{t}, \cdots, w_{t-n+1}\right)=\hat{P}\left(w_{t} | w_{1}^{n-1}\right)f(wt​,⋯,wt−n+1​)=P^(wt​∣w1n−1​)，即...
词嵌入（WORD2VEC）
KaikebaAI的博客
04-07 579
原创：李孟启 1.前言 ⾃然语⾔是⼀套⽤来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是⽤来表示词的向量，也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌⼊ （word embedding）。近年来，词嵌⼊已逐渐成为⾃然语⾔处理的基础知识。 2.为何不采⽤ONE-HOT向量 假设词典中不同词的数量（词典⼤⼩）为NNN，每个词可以和从000到N−1N-1N−1的连续整数⼀⼀对应。这些与词对应的整数叫作词的索引。 假设⼀个词的索引为 iii，为了得到该词的one-ho
word2vec词向量训练及中文文本相似度计算
01-27
神经网络概率语言模型的发展历程中，由Bengio等人在2003年提出的神经网络语言模型NNLM（Neural network language model）最具影响力。在此基础上，出现了更简单的CBOW模型、Skip-gram模型，训练方面也有Hierarchical...
deep learning 实战之 word2vec
03-19
除了 NNLM 之外，还有其他基于神经网络的语言模型，如 Recurrent Neural Network（RNN）Language Model、Long Short-Term Memory（LSTM）Language Model 等。 Log-Linear 模型 Log-Linear 模型是一种基于 Log-...
Feedforward Neural Network Language Model NNLM c++核心代码实现
qq_44943639的博客
04-20 228
Feedforward Neural Network Language Model NNLM c++核心代码实现
词嵌入 word2vec
qq_38284961的博客
12-12 211
1. 在自然语言处理中，对词的量化是一个非常重要的环节， 原始对词的量化方法是使用的one-hot方法，其定义如下。 one-hot: 存在一个词汇量为10000的语料库，如果man 这个单词在预料库中出现的位置为5391。那么man这个函数就被表示为                                      向量的维度为10000,1的位置是在5391，其他位置都为0。 但...
word2vec词嵌入简介
06-13
词嵌入直观认识、基本原理、word2vec优化介绍、最后提出了一些基本实验
深度学习：词嵌入之word2vec
热门推荐
皮皮blog
07-26 1万+
http://blog.csdn.net/pipisorry/article/details/76147604 word2vec简介 深度学习在自然语言处理中第一个应用：训练词嵌入。Google 的 Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》和《Distributed ...
Neural Network Language Model
matthewchen123的博客
10-24 2835
背景 传统的统计语言模型的缺点，在高维的情况下，由于N元组的稀疏问题，传统的语言模型需要花大量时间解决平滑，插值等问题；N受限于算力，不大的时候文本的长距离依赖关系无法进行建模；同时N元组共现未必相似等问题。 由于维度灾难(特别是离散变量)，在高维下，数据的稀缺性，导致统计语言模型存在很多为零的条件概率，传统的统计语言模型也花费了很大的精力来处理零概率问题，比如现在有很多的平滑、插值、回退等方法用来解决该问题。 语言模型的参数个数随阶数呈指数增长，所以一般情况统计语言模型使用的阶数不会很高，这样n-gra
神经网络语言模型 -- Neural Network Language Model
fengzhou_的博客
05-04 2768
神经网络语言模型(Neural Network Language Model) 模型介绍 2003年，Bengio首次提出Neural Network Language Model(NNLM), 开创了神经网络运用在语言模型的先河，论文 《A Neural Probabilistic Language Model》 上一章提到传统的统计语言模型的缺点，在高维的情况下，由于N元组的稀疏问题，传统的语...
Neural Network Language Model 神经网络语言模型（概念+公式+代码）
最新发布
hua_453的博客
10-23 689
Neural Network Language Model 神经网络语言模型
NNLM（Nerual Network Language Model）论文笔记
lankangning的博客
03-16 633
NNLM（Nerual Network Language Model）是2003年Bengio等人在文章A neural probabilistic language model提出的语言模型 基本思想 假定词表中的每一个word都对应着一个连续的特征向量 假定一个连续平滑的概率模型，输入一段词向量的序列，可以输出这段序列的联合概率 P^(w1,w2,...,wT)=∏i=1TP^(wt∣w1,...
language model and RNN
u010859324的博客
05-20 654
本文首先介绍基于n-gram的语言模型，然后引出RNN模型 一、基于n-gram的语言模型 语言模型：计算一个词汇序列出现的概率 (a language model computes a probability for a sequence of words: P(w_1, w_2,…, w_T) 语言模型的作用： 1. word ordering p(the cat is sm...
RNN语言模型实现：Recurrent neural network language model
weixin_45337615的博客
12-21 403
文章目录语言模型RNN语言模型的结构优化WSJ 实验 参考文献：《Recurrent neural network based language model》 语言模型 什么是语言模型？ 语言模型包括传统与神经网络语言模型 神经网络语言模型的功能就是根据句子前w-1个词预测第w个词在词表中的概率分布。 RNN语言模型的结构 在论文中采用了最简单的RNN架构也就是被称为Elman network的架构。其中有一个输入层x,隐藏层s（也被叫做context层或state）和一个输出层y。在 t 时刻网络的输入
提升词向量准确性的word2vec-ACV模型: 解决OOV与多义性问题
本文主要探讨了"论文研究-word2vec-ACV：OOV语境含义的词向量生成模型.pdf"，该研究针对word2vec模型存在的局限性进行了改进。word2vec是一种广泛使用的深度学习模型，用于生成词嵌入，但其在处理多义词和集外词...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值