GPT详解

• Improving Language Understanding by Generative Pre-Training
• 生成式的预训练
• 基于 Fine-tuning 的模式
• GPT本质上就是用了语言模型的目标函数来优化和训练Transformer-Decoder
  • Fine-tune 的目标函数
    • L2是task的目标函数
    • L1是语言模型的目标函数

GPT缺点

其实最主要的就是那个单向语言模型，如果改造成双向的语言模型任务估计也没有 Bert 太多事了

GPT-2

• 20190215
• 就是说首先把Transformer模型参数扩容，常规的Transformer Big包含24个叠加的Block，就是说这个楼层有24层高，GPT 2.0大干快上，加班加点，把楼层连夜盖到了48层，高了一倍，参数规模15亿，这个还是很壮观的，目前貌似还没有看到过Transformer楼层有这么高的模型。那么，为什么要扩容呢？这个只是手段，不是目的。真正的目的是：GPT 2.0准备用更多的训练数据来做预训练，更大的模型，更多的参数，意味着更高的模型容量，所以先扩容，免得Transformer楼层不够多的房间（模型容量）容纳不下过多的住户（就是NLP知识）