![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习自然语言处理基础
文章平均质量分 96
此专栏包含《深度学习进阶-自然语言处理》一书的学习笔记以及视频
骑着蜗牛环游深度学习世界
一个缓慢成长的小白
展开
-
1.7-自然语言的分布式表示-skip-gram模型代码实现
skip-gram模型的简单代码实现;以及与CBOW模型在代码实现上的区别;基于计数的方法与基于推理的方法的区别和联系的总结。原创 2024-07-03 14:49:20 · 960 阅读 · 0 评论 -
1.6自然语言的分布式表示-word2vec补充说明
类比CBOW模型中使用概率来表示交叉熵损失的公式的过程:由于这里要预测的是一个上下文,我们可以把上下文看成一个整体,这个整体具有一个可取的范围;在前面的笔记中,我们知道CBOW模型使用了交叉熵损失;对于某条数据而言,通过模型计算得到输出并转化为概率形式,记为。这也证明skip-gram模型的损失是上下文各个单词损失的和;因此,首先求各个输出层的损失,然后加起来作为整个模型的损失;取决于上下文窗口的大小;CBOW模型是在给定某个上下文时,输出目标词的概率;对应的独热编码中的那个位置元素值为1,其余均为0;原创 2024-06-24 14:36:43 · 1028 阅读 · 0 评论 -
1.5自然语言的分布式表示-word2vec学习的实现
之前的笔记中,我们已经基于数据构建了语料库、单词与ID之间的映射;并基于语料库(就一个句子)构建了CBOW模型学习所需要的数据,即上下文及其对应的目标词;并将其转换为独热编码的形式;接着,我们也构建了简单CBOW模型的网络结构;并根据创建的CBOW模型类创建了模型实例;接下来我们来看让模型进行学习的代码实现。原创 2024-06-24 14:33:16 · 781 阅读 · 0 评论 -
1.4自然语言的分布式表示-word2vec实操
自然语言处理模型-CBOW模型的网络结构的简单实现-交叉熵损失函数的计算过程-softmax函数的计算过程原创 2024-06-20 16:52:20 · 1031 阅读 · 0 评论 -
1.3自然语言的分布式表示-word2vec
使用神经网络,构建神经网络模型;将数据输入到模型中,模型进行预测,并反复更新网络的权重以下图为例,所谓的推理就是给定了单词的上下文,让模型去预测中间这个单词是什么;模型的输出将是一个关于各个可能单词的概率分布,概率最大的那个就是要预测的那个单词;通过不断地学习,模型逐渐能够准确预测这个单词是什么;那么就可以说,模型学习到了单词的出现模式,即当周围出现某些单词的时候,中间的那个单词就会出现。通过这种方式学习到的最终模型便可以用来进行单词的分布式表示(将结合后面的内容进行叙述)原创 2024-06-20 16:46:18 · 1207 阅读 · 0 评论 -
1.2-自然语言的分布式表示-基于计数的方法
以上就是对单词进行密集向量表示,然后计算单词间相似度的主要过程,可以概括为:首先创建单词的共现矩阵,将其转化为 PPMI 矩阵,再基于 SVD 降 维以提高稳健性,最后获得每个单词的分布式表示。另外,我们已经确认 过,这样的分布式表示具有在含义或语法上相似的单词在向量空间上位置相 近的性质,因为从计算与每个单词最相似的单词有哪些的过程可以证实这一点。原创 2024-06-09 10:14:53 · 1127 阅读 · 2 评论 -
1.1-自然语言的分布式表示-同义词词典
本文章介绍了同义词词典的概念以及如何使用同义词词典。原创 2024-06-09 10:03:35 · 574 阅读 · 0 评论