文案生成论文速读

欢迎交流指正

1. CTRL - A Conditional Transformer Language Model for Controllable Generation

https://arxiv.org/pdf/1909.05858.pdf
模型应该没变， 变得是训练数据的格式，会将数据分类，每一个分类变成 比如， book x,y 或者wiki x, y。

2. GPT2 (转自 https://zhuanlan.zhihu.com/p/57251615)

GPT2的核心思想就是认为可以用无监督的预训练模型去做有监督任务。GPT2模型的结构还是和GPT一样，如上图中间部分，它所适用的任务恰好是语言模型，即预测 [公式] ，这是大家再熟悉不过的公式。那为什么这个就能做有监督任务呢？平常的套路难道不是语言模型预训练+微调吗？反正当时我是一脸懵逼的，反复看了两三遍才理透这个逻辑，下面我给大家梳理一下，如果这个思想懂了，那上面的问题就不是问题了。

按照原文的思路，作者是这样论述的：

- 语言模型其实也是在给序列的条件概率建模，即 [公式]
- 任何的有监督任务，其实都是在估计 [公式] ，通常我们会用特定的网络结构去给任务建模，但如果要做通用模型，它需要对 [公式] 建模。对于NLP任务的input和output，我们平常都可以用向量表示，而对于task，其实