NLP
SangrealLilith
这个作者很懒,什么都没留下…
展开
-
【从 0 开始学习 Transformer】番外:Transformer 如何穿梭时空?
1. 前言讲解 Transfomer 在训练阶段为何无需循环调用模型即可完成导师监督(teacher-forcing)法。讲解前瞻遮挡原理的精妙用法:通过一次正向传播,模拟模型逐个得到得到整个目标句子的预测过程。2. Transformer 穿越时空了?首先,我们来看看 Transofrmer 是如何完成导师监督的(下面这是一张动图,依然来自Jay Alammar,有可能加载不出来,请参考原...原创 2019-12-15 10:53:10 · 745 阅读 · 0 评论 -
【从 0 开始学习 Transformer】下:Transformer 训练与评估
1. 前言2. 创造原训练集的编码表示2.1. 数据下载与读取2.2. 创建子词分词器2.3. 数据处理3. 损失函数设计4. 优化器与学习率5. 自回归原理6. 训练6.1. 超参数6.2. 训练6.2.1. 创建遮挡6.2.2. 创建训练步骤及保存模型6.2.3. 开始训练7. 评估1. 前言在上一篇文章中我们已经描述了 Transfo...原创 2019-12-13 15:03:24 · 4982 阅读 · 3 评论 -
【从 0 开始学习 Transformer】上:搭建与理解
1. 前言2. 参考代码、文章及部分插图来源3. 在开始前的推荐了解3.1. 循环神经网络(RNN)3.2. 基于编码-解码(encoder-decoder)的序列到序列(sequence2sequence)模型3.3. 注意力机制3.4. 词嵌入(Word Embedding)4. 初探 Transformer5. 基础算法和模块5.1. 位置编码(Position...原创 2019-12-02 15:41:29 · 1634 阅读 · 2 评论 -
ConvLab介绍及使用
目录ConvLab介绍及使用目录论文及代码简介对话系统架构介绍ConvLab架构设计Agents-Environments-Bodies(AEB)Session, Trial and Experiment使用安装PipDocker测试运行spec file论文及代码论文:ConvLab: Multi-Domain End-to-End...原创 2019-06-23 21:14:12 · 3508 阅读 · 1 评论