《自然语言处理学习之路》 08 语言模型，词向量，CBOW神经网络架构，原理

最新推荐文章于 2023-11-03 14:25:08 发布
最新推荐文章于 2023-11-03 14:25:08 发布
阅读量322 收藏 1
点赞数
分类专栏： 自然语言处理 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44951759/article/details/120428103
版权

书山有路勤为径，学海无涯苦作舟

一、语言模型

计算机只认识数值，需要将文本数据转为数值的向量矩阵。

比如现在有一句话：我今天下午打篮球。 这一句话具有逻辑性，词语之间具有联系。

先说“我”，在“我”的基础上，出现“今天”的概率，“下午”在"我今天"出现的概率，以此类推，计算出一个句子出现的概率。

每个词出现都与前面的词出现有关系

在这里插入图片描述
每个词都与前面的词有关系，但是长句子的话，数据就会更加稀疏。

最后一个词wi出现的概率 = 所有词概率 / 不包含wi的词条件概率
在这里插入图片描述

二、N-gram 模型（基于统计）

通常我们说的一个词，通常只与前一个词关系比较大，和前面是很多词关系不大

所以假设下一个词，只依赖其前面的一个词或者只依赖于前面的两个词

N-gram 模型，当指定N = 1，就是与前面的一个词相关，指定N=2就是与前面的两个词相关
在这里插入图片描述
计算每个词，和句子的慈祥概率
在这里插入图片描述
通常情况下，取得N=2或者N=3 比较常见，N值太大计算太复杂。
在这里插入图片描述

三、词向量模型

最简单的one-hot 构建词向量：

  • 先构造所有词的集合的一个全为0的一维向量
  • 当句子中出现这个词，就在这个词的对应的位置变为1

但是one-hot并不能表达出词之间语义的向量

我们希望构建出来的语言模型，可以表达出语义
在这里插入图片描述
我们希望构建出来的词向量模型，不同向量之间如果语义相同，那么这些向量之间的距离相近
在这里插入图片描述
我们希望可以寻找离某个词最近的词：
在这里插入图片描述
我们希望不同语言的建模下，词语词之间的距离还是相近的，并不与语言挂钩，只有语言逻辑环境相关。
在这里插入图片描述

四、基于神经网络模型训练词向量

4.1 词向量的神经网络模型

传统的神经网络只需要优化神经网络之间的参数，词向量的神经网络不仅需要优化参数，还需要优化输入的词向量

输入层：比如输入（我 / 今天 / 下午 ），对三个词进行随机初始化为一个向量的形式，预测下午后面接什么。

投影层： 将三个词输出词向量首尾相连拼接在一起，整体对待

隐藏层与输出同传统的神经网络

在这里插入图片描述
训练神经网络就是虚拟词与词之间的逻辑关系，训练样本是前N-1个词，预测第N个词是什么的概率。

所以训练样本就是前N-1个，且假设每个词的向量大小为m

输出：预测N词的概率

在这里插入图片描述

4.2 神经网络模型与传统统计模型的比较

统计下，相同含义的词，但是因为出现词频的不同，并不会得到相同的对待

但是神经网络模型，其计算的向量空间，发现，相同含义的词，虽然出现的词频不一样，但是他两的距离还是很近的。

在这里插入图片描述

4.3 Hierarchical Softmax（层次化Softmax)

CBOW 根据上下文预测某一个词

Skip-gram 根据一个词预测上下文
在这里插入图片描述
Continuous Bag-of-Words Model

在这里插入图片描述

4.3.1 哈夫曼树

给树赋予权值代表重要程度，（5,7,2,3）

带权长度 = 权重 * 路径步长

哈夫曼树：将权重最大的放在最前面，以此类推，权重小的放在后面。
在这里插入图片描述
比如语料库有1000个词，生活中有些词是常用的，有些词是不常用的。这些词不应该被同等对待，可以将赫夫曼树中的权重转为词的词频。

频率高的词就在哈夫曼树的前面，低频率的就在后面这就是分层的思想：

通过sigmoid函数实现二分类的问题
在这里插入图片描述

4.3.2 哈夫曼树的构造

ABCD四个词以及其词频，先将词频最低的两个词合并，再依次向上。

哈夫曼树通常需要判断是往左边还是往右边走的二分类问题，需要通过sigmoid函数进行判断。

哈夫曼树编码：
左边树为0，右边树为1：D（0），B（1,0），C（1，1，0），A（1,1,1,）
在这里插入图片描述

4.3.3 哈夫曼树的分类-逻辑回归（Logistic回归）

sigmoid的输入区间是R任意值，输出是0到1之间的值

Θ表示参数矩阵，x为输入。
在这里插入图片描述
Softmax是一个多分类的逻辑回归，将多个逻辑回归组合在一起

4.4 CBOW

4.4.1 CBOW的架构

在这里插入图片描述
在这里插入图片描述
假设往右走是正例，左边是负例。在数据的上下文的词的输出，最后输出要走到“足球“

最终结果的足球的是前面走过路径的累乘
在这里插入图片描述

4.4.2 CBOW的模型求解

参数Θ以及输入向量改变和传统的神经网络相同

走过路径的整体概率表达式
在这里插入图片描述

将其带入似然函数中求解

当传入w的上下文，预测值为w的概率值越大越好，传统的似然函数多次累乘不好求解，就将其转换成了一个对数似然函数。log放后面，乘方提前，累乘就变成了累加，

用dw来控制正负例

展开，相乘转为log相加，将次方提前
在这里插入图片描述
求L的概率值越大越好的极值点

4.4.3 梯度上升

找极值先求导

对θ求导：

  • 合并同类项，得到求导最终结果

  • 再梯度上升，在原始的基础上加上更新θ
    在这里插入图片描述
    输入向量X也需要更新，对投影层集合向量X进行求导，更新集合X向量
    在这里插入图片描述
    整体词向量的更新都应用到每个词向量上！

4.5 负采样（Negative Sampling）分类

当语料数据大的时候，利用哈夫曼树虽然常见的词在前，不常见的在后，但是还是很计算复杂还是很高
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

驭风少年君
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
基于上下词及语境的CBOW多层神经网络分类模型研究
毕业作品网站
05-24 196
为短文本推荐合适的emoji — 基于上下词及语境的CBOW多层神经网络分类模型研究 Abstract Aiming at the feature sparsity and context dependence of short texts, this paper proposes a short text classification method based on CBOW multilayer neural network. Using the sentiment tendency of short
CBOW(Continuous Bag-of-Words)模型原理
solitude23的博客
05-25 3832
原文在这里，总结一下有关CBOW模型的原理，代码是搬运的。Skip-gram模型与之类似，就不展开详细说明了。有理解不正确的地方请指正。 模型架构 CBOW模型包含三层：输入层，投影层，输出层。与NNML相比，去掉了隐藏层。 CBOW是根据上下文预测中心词，有点类似于完形填空。上下文的多少是个超参数，可以自己调整。 在构建数据集时，根据CBOW的特点，一般是将上下文当作输入，中心词当作标签。 训练时，首先随机初始一个矩阵C∈R∣V∣×dimC\in R^{|V|\times dim}C∈R∣V∣×dim，
NLP - word2vec原理(一) CBOW与Skip-Gram模型基础
weixin_37790871的博客
01-21 3842
1. CBOW与Skip-Gram用于神经网络语言模型  在word2vec出现之前，已经有用神经网络DNN来用训练词向量进而处理词与词之间的关系了。采用的方法一般是一个三层的神经网络结构（当然也可以多层），分为输入层，隐藏层和输出层(softmax层)。  这个模型是如何定义数据的输入和输出呢？一般分为CBOW(Continuous Bag-of-Words 与Skip-Gram两种模型。
CBOW原理 运用CBOW模型，给出一个语句”i drink milk everyday“， 预测 ”milk“。假设第一次随机化初始矩阵和第二次随机化初始矩阵分别为：
weixin_39257042的博客
03-14 1241
运用CBOW模型，给出一个语句”i drink milk everyday“， 预测 ”milk“。假设第一次随机化初始矩阵和第二次随机化初始矩阵分别为： 写出： 1.第一层输入词向量(上下文嵌入词向量)， 2.词向量加总后的平均值 3.得分向量（输出层的输入向量） ”i drink milk everyday“， 预测 ”milk“根据基本公式，使用MATLAB语言解答如下：...
NLP自然语言处理之Word2Vec(二）CBOW 加层次的网络结构
weixin_43869415的博客
12-30 825
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言前言一、CBOW 加层次的网络结构二、优化目标与解问题 前言 本文主要记录了Word2Vec中CBOW加层次的网络结构的学习笔记，如有错误还请不吝赐教！ 本文参考：北流浪子大佬的文章 提示：以下是本篇文章正文内容，下面案例可供参考 前言 Word2vec总共有两种类型，每种类型有两个策略，总共 4 种。这里先说最常用的一种，CBOW加层次化网络结构。 一、CBOW 加层次的网络结构 其中第一层，也就是最上面的那一层可以称为
自然语言处理(四)神经网络语言模型及词向量
JN_rainbow的博客
12-01 1992
神经网络语言模型 用句子SSS的概率p(S)p(S)p(S)来定量刻画句子。 统计语言模型是利用概率统计方法来学习参数p(wi∣w1…wi−1)p(w_i|w_1\dots w_{i-1})p(wi​∣w1​…wi−1​)，神经网络语言模型则通过神经网络学习参数. 统计语言模型的缺点 平滑技术错综复杂且需要回退至低阶，使得该模型无法面向更大的n元文法获取更多的词信息. 基于最大似然估计的语言模型...
斯坦福 CS224N 自然语言处理中文讲义
最新发布
01-25
深度学习提供了一种有效的方法来处理和表示自然语言的复杂性，包括使用神经网络模型进行序列建模、注意力机制和Transformer架构等。这些技术极大地推动了NLP的进步，使得机器能够处理更复杂的语言任务，例如语义理解...
人工智能，自然语言处理代码
04-13
在IT领域，人工智能（AI）是当前最热门的研究方向之一，而自然语言处理（NLP）作为AI的一个重要分支，正逐步改变我们与计算机交互的方式。这个压缩包包含了一系列关于AI和NLP的代码示例，让我们逐一探讨这些文件所...
基于双向LSTM的句子向量模型
06-04
经典的词向量模型如Word2Vec（包括CBOW和Skip-gram）通过预测上下文词来学习词向量，但它们无法处理句子级别的信息。而基于LSTM的词向量模型则能够考虑上下文信息，更好地捕捉词的多义性。 LSTM是一种特殊的循环...
NLP.zip_nlp相似度_python_semantic similarity_自然语言处理_语义相似度
09-24
自然语言处理（NLP）是计算机科学领域的一个重要分支，主要关注如何使计算机理解、解析、生成和操作人类语言。在本项目“NLP.zip”中，重点是使用Python进行语义相似度的计算，这是NLP中的核心任务之一。语义相似度...
大语言模型 Large Language Model
08-31
* 神经网络架构：大语言模型使用不同类型的神经网络来进行自然语言处理，例如循环神经网络（RNN）、长短时记忆网络（LSTM）、卷积神经网络（CNN）、Transformer 等。 * 词向量表示：大语言模型使用词向量来表示单词...
神经网络词向量模型之Word2Vec
gaobing1993的博客
09-09 1385
1.前言 基于one-hot对于词汇进行编码的方式着实让人头疼，又无奈。头疼的是占用空间很大，计算量大，无奈的是这么简单粗暴的方式居然一直流传到了现在。今天给大家介绍一款基于神经网络语言模型来生成词向量的神器。在上一篇神经网络语言模型中我们介绍过语言模型的工作方式，将输入通过嵌入层转换为向量，然后使用投影层把各向量拼接在一起，通过隐层，再进入输出层。所以输入层中就得到了词向量矩阵。语言模型的核心是去表达文本，生成文本。词向量只是其中的一个环节，数据预处理的一部分。今天我们要讲解的词向量模...
手动创建词向量训练神经网络
a1314_521a的博客
02-13 641
一直不太明白词向量怎样产生，搜索生成原理后，自己分别使用word2vector和自建单隐层神经网络进行训练（数据集优美，量少，不用太在意训练效果，主要记录流程） 先介绍数据处理与网络架构： 1.训练数据集： import torch import torch.nn as nn from torch.nn import CrossEntropyLoss from torch.optim import SGD import jieba from gensim import corpora import
cbow word2vec 损失_DL4NLP——词表示模型（二）基于神经网络的模型：NPLM；word2vec（CBOW/Skip-gram）...
weixin_39932300的博客
12-19 389
本文简述了以下内容：神经概率语言模型NPLM，训练语言模型并同时得到词表示word2vec：CBOW / Skip-gram，直接以得到词表示为目标的模型(一)原始CBOW(Continuous Bag-of-Words)模型(二)原始Skip-gram模型(三)word analogy神经概率语言模型NPLM上篇文简单整理了一下不同视角下的词表示模型。近年来，word embedding可以说已...
词嵌入（word2vec）-CBOW原理通俗解释
多元思考力
11-28 8184
目录 CBOW原理解析 CBOW：层次Softmax CBOW：负例采样 word2vec + CNN做文本分类 1.CBOW原理解析 如果之前没有了解NNLM的话，可以戳这篇文章先简单了解下。词嵌入-NNLM原理NNLM的基本原理是利用前N−1N-1个词预测第N个词，但CBOW是希望用前后N个词来预测中间这个词，这是他们的本质区别。在上一篇文章中，我谈到了NNLM,其中的C=(W1,W2,…,W
PGL 系列（四）词向量 CBOW
_yuki_
12-21 510
paddle 2.4.0 CBOW 复现
word2vec原理(一) CBOW与Skip-Gram模型基础
Du_Shuang的博客
02-23 352
　　　　word2vec原理(一) CBOW与Skip-Gram模型基础 　　　　word2vec原理(二) 基于Hierarchical Softmax的模型 　　　　word2vec原理(三) 基于Negative Sampling的模型 　　　　word2vec是google在2013年推出的一个NLP工具，它的特点是将所有的词向量化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之...
机器学习——CBOW负采样(纯理解）
weixin_50348308的博客
11-03 372
刚从前一个坑里，勉强爬出来，又掘开另一坑看了很多文章+B站up主。。。糊里糊涂但是我发觉，对于不理解的东西，要多看不同up主写的知识分享书读百遍，其意自现，我是不相信的，容易钻牛角尖但是，可以多看看一千个哈姆雷特的想法，想法积累多了，一定有那么一刻，让人灵光乍现！！！拍脑顿悟：原来如此！给我顿悟的是CSDN的一篇文章CSDN啊，听大神一席话，如长夜得明灯啊！倒不是其他的文章和up主，没有解释过负采样，但这篇能让我顿悟的点在于：前后对比。
【PyTorch】10 文本篇更多代码——BOW、N-Gram、CBOW、LSTM、BI-LSTM CRF
YoungSeng's Blog
03-15 1519
示例1. 基于逻辑回归与词袋模式(BOW)的文本分类器完整代码结果2. 词嵌入：编码形式的词汇语义2.1 N-Gram语言模型完整代码结果2.2 计算连续词袋模型(CBOW)的词向量完整代码结果3. 序列模型和长短句记忆（LSTM）模型完整代码结果4. 高级：制定动态决策和BI-LSTM CRF代码结果小结 1. 基于逻辑回归与词袋模式(BOW)的文本分类器 原教程网站 模型将会把BOW表示映射成标签上的对数概率。我们为词汇中的每个词指定一个索引。例如，我们所有的词汇是两个单词“hello”和"world"
NLP：一种神经概率语言模型A Neural Probabilistic Language Model.pdf
04-21
"NLP：一种神经概率语言模型A Neural Probabilistic Language Model.pdf"，该文档是Yoshua Bengio等人在2003年发表的一篇关于使用神经网络进行语言建模的重要论文，它在自然语言处理（NLP）领域具有里程碑式的意义。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

驭风少年君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值