![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
语言模型
文章平均质量分 88
闲看蒹葭
学习自然语言处理
展开
-
XLNet原理详解
XLNet原理详解1. 什么是XLNet2.自回归语言模型(Autoregressive LM)3. 自编码语言模型4. XLNet模型4.1 排列语言模型(permutation language Modeling)4.2 双流注意力机制4.2.1 引例:4.2.2 双流注意力机制4.2.3 部分预测4.3Transform-XL4.3.1 Transform4.3.2 Transform XL...原创 2019-10-14 17:11:36 · 2183 阅读 · 0 评论 -
word2Vector的原理详解
word2Vector的原理详解原型:NNLM(Neural Network Language Model)这个模型其实就是一个结构简单的神经网络,MLP模型。输入层,隐藏层(也许有两层,看个人设计),接softmax输出。它的作用是通过前 N-1 个词,推测出第 N 个词是什么。举个栗子,有一句话 “我今天中午吃的涮羊肉”。这个词要输出模型的话得把它先分词,分词成”我“, ”今天“,...转载 2019-10-11 10:26:55 · 722 阅读 · 1 评论 -
BILSTM原理介绍
BILSTM介绍转载:https://www.jiqizhixin.com/articles/2018-10-24-13一、介绍1.1 什么是LSTM和BILSTM?1.2 为什么使用LSTM与BILSTM?二、BILSTM原理简介2.1 LSTM介绍2.1.1 总体框架2.1.2 详细介绍计算过程2.2 BILSTM介绍转载:https://www.jiqizhixin.com/article...转载 2019-10-10 17:51:56 · 10225 阅读 · 0 评论 -
ELMO原理介绍
ELMO原理介绍一、引言1.1 从Word Embedding到ELMO二、ELMO2.1 ELMO原理2.2 ELMO 训练2.2.1 第一阶段 语言模型进行预训练2.2.2 第二阶段 接入下游NLP任务2.3 ELMO效果一、引言1.1 从Word Embedding到ELMOWord Embedding:词嵌入。最简单粗劣的理解就是:将词进行向量化表示,实体的抽象成了数学描述,就可以进...转载 2019-10-11 11:36:22 · 1480 阅读 · 0 评论 -
OpenAI-GPT原理详解
OpenAI-GPT原理详解本文参考一、前言二、基础知识三、OpenAI GPT3.1 OpenAI GPT 原理3.2 OpenAI GPT模型结构3.2.1 非监督预训练3.2.2 监督微调fine-tuning3.2.3 改造OpenAI GPT用于下游NLP任务本文参考OpenAI GPT算法原理解析openai-GPT模型一、前言本文对论文《Improving Language...原创 2019-10-11 16:01:25 · 5403 阅读 · 0 评论 -
BERT原理详解
BERT原理详解一、BERT原理1.1 BERT原理网上关于BERT的模型讲的好的很多参考BERT模型学习与分析谷歌BERT模型深度解析彻底搞懂BERT1.2 BERT 和 OpenAI GPT 区别与联系这里简单描述一下BERT和OpenAI GPT模型区别与联系BERT和GPT 都是使用了Transformer结构,Transform的Encoder和Decoder是有区别...原创 2019-10-11 18:01:28 · 1583 阅读 · 0 评论