![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 81
NLP
LightYoungLee
啊嘿嘿啊哈哈
展开
-
NLP(五)transformer模型
核心思想transformer模型的基本思想来源于seq2seq模型和attention机制,建议大家先了解下这两方面的基本知识,之后会发现transformer的原理比较简单。其整体的示意图如下所示,下文会对该模型进行详细讲述。模型结构知乎大大已经把transformer的结构讲的很清楚了,这里我只是想阐述一下我个人的几点理解。模型整体依然是encoder-decoder结构,只不过encoder和decoder内部用到的模型和seq2seq不同,如下阐述下encoder和decoder的模型结原创 2021-05-25 16:17:18 · 280 阅读 · 0 评论 -
NLP(四)seq2seq模型
核心思想encoder-decoder机制,通过输入一系列的变长的单词序列(X1,X2,...,XNX_1, X_2, ..., X_NX1,X2,...,XN),先通过运算得到语义编码(CCC),再通过运算将语义编码生成另一个空间中的一系列单词(Y1,Y2,...,YMY_1, Y_2, ..., Y_MY1,Y2,...,YM),示例图如下所示:模型结构模型结构主要由两部分组成,encoder和decoder,如下会对两者进行详细介绍。encoderencoder并不局限于一种模原创 2021-05-25 15:52:09 · 258 阅读 · 0 评论 -
NLP(三)attention机制
核心思想把一个query翻译成source的组合结果,组合过程中会用到的系数为key,示意图如下所示:下图为上图的细节展开,可以看出query通过一系列key和变换函数F后得到一系列的score(s),经过softmax归一化之后得到一系列的系数a,之后再将这些系数一一与value相乘并相加得到最终的attention value。优缺点优点一步到位的全局联系捕捉并行计算减少模型训练时间模型复杂度小,参数少缺点不能捕捉语序顺序的相关信息,因为其本身是一个精致的词袋模型。self-原创 2021-05-17 17:02:52 · 695 阅读 · 0 评论 -
NLP(二)SkipGram计算
代码实现需要声明几个变量:sentence代表输入的raw数据,n代表的是最终获取到的每一条训练数据的维度,k代表的是中心词左右的滑动子窗口的大小,即整体滑动窗口的大小是2k+1,下面代码实现能比较清楚地展现计算过程。from nltk.util import ngramsfrom itertools import combinationdef skipgrams(sentence, n, k): SENTINEL = object() ngrams_list = li原创 2021-03-04 22:32:26 · 354 阅读 · 2 评论 -
NLP(一)Word2Vec原理
本文主要介绍NLP中常见的word2vec中的两个基本部分:1. 训练数据:获取方式,CBOW和SkipGram2. 模型构建:word2vec的每一层构建过程2. 损失函数:NCE损失+层次SoftMax原创 2019-12-08 21:02:35 · 579 阅读 · 0 评论