- 博客(3)
- 收藏
- 关注
RSS订阅原创 对于RL for Text Generation的一些理解
目录前言关于Text GenerationSeq2seq关于Reinforcement LearningFree-running&Teacher-forcingPolicy Gradient前言新手上路，都是一些不成熟的见解，之后还会不断修改本篇，不断提升自我。关于Text Generation在讲强化学习在文本生成方面的应用之前，首先应该先从文本生成任务开始讲起，相较classification或者extraction方面的任务，generation会更加困难，我们普遍会在建立模型、建立l
2020-07-09 10:25:21
293
原创 Unified Language Model Pre-training for Natural Language Understanding and Generation 论文阅读
目录背景背景这是一篇2019年的工作，发表在arXiv上，论文的主要工作是提出了一种叫做UniLM的预训练语言模型，该预训练模型主要将会用于三种语言模型任务：Unidirectional、Bidirectional、Seq2seq prediction。针对不同的预测任务，一些传统的NLP模型同样使用了不同的目标训练方式。在ELMo模型中，采用了多层的双向LSTM结构，对于每一层LSTM，分别有一个forward LM从左向右读入text，以及一个backward LM从右向左读入text。在GPT模
2020-07-07 15:01:38
671
原创 序言与目录
序言开始目录NLP相关开始这是我第一次写博客，当然在此之前我也阅读过许多的博客，大多都是一些关于科研论文解读的文章，有时遇到bug也会在博客中找一些经验之谈。进了大学之后有看到室友写过博客，他应该也是一时兴起，当时我们在写编译器的大作业，那不是一个简单的项目，代码量不小有需要对编译器有着深刻的了解。今天开始我将写下我的第一篇博客，当然一方面也是应了导师的要求，另一方面博客不失为记录自己对于科研理解的好方法，我曾写过不少论文的小结存在电脑里，之后也会都整理出来发在博客上，我希望写博客这样的习惯能坚持下去
2020-07-06 21:02:03
335
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人