自然语言处理
文章平均质量分 92
Rachel_Q
这个作者很懒,什么都没留下…
展开
-
复旦大学邱锡鹏教授:NLP预训练模型综述 Pre-trained Models for Natural Language Processing: A Survey
复旦大学邱锡鹏教授:NLP预训练模型综述文章目录01 引言02 背景2.1 语言表示学习2.2 神经上下文编码器2.3 为什么要预训练?2.4 NLP的预训练任务的简单历史2.4.1 第一代预训练:预训练词嵌入2.4.2 第二代预训练:预训练上下文编码器03 PTMs概述3.1 预训练任务3.1.1 语言模型 (LM)3.1.2 掩码语言建模 Masked Language Modeling (MLM)Sequence-to-Sequence MLM (Seq2Seq MLM)增强的屏蔽语言建模 Enha翻译 2020-05-27 10:34:46 · 4884 阅读 · 3 评论 -
Transformer结构
文章目录Transformer结构0. RNN的缺点1. 整体结构域2. Encoder部分2.1. multi-head-Attention层2.1.1 插入讲解self-attention2.1.2. 回到多头2.2. 全连接层3. Decoder部分4. Generator部分5. Positional Encoding参考文献:Transformer结构与Bert论文相关,Bert中也插入了相关连接。0. RNN的缺点RNN相关算法只能从左向右依次计算或者从右向左依次计算,这种机制带来了两原创 2020-05-30 13:33:25 · 3196 阅读 · 0 评论 -
BERT(Bidirectional Encoder Representation from Transformers)及其发展史
BERT(Bidirectional Encoder Representation from Transformers)文章参考了比较多博客,直接想了解bert的,可以直接看 2.Bert细则文章目录BERT(Bidirectional Encoder Representation from Transformers)1. word2vec,ELMo,BERT亮点与区别1.1 发展史word2vec——>ELMoELMo——>BERT1.2. Elmo优点不足1.3. Bert特点1.4.原创 2020-05-30 13:11:11 · 2545 阅读 · 0 评论