Task04 学习GPT

前言

GPT-2是一个巨大的, 基于Transformer的语言模型, 它是在一个巨大的数据集上训练的

1 GPT2和语言模型

1.1 什么是语言模型

什么语言模型?
     GPT-2 基本上就是键盘应用程序中预测下一个词的功能

1.2 语言模型的Transformer

Transformer 模型是由Encoder 和 Decoder 组成的

1.3 与BERT的一个不同之处

GPT-2 是使用Transformer的Decoder 模块构建的
BERT 是使用Transformer 的Encoder 模块构建的

1.4 Transformer 模块的进化

(1) Encoder模块
原始的接受特定长度的输入---->可以填充序列的其余部分
(2) Decoder 模块

会屏蔽未来的token

1.5 语言模型入门: 了解GPT2

能够处理1024个token

1.6 深入理解GPT2 的更多细节

每一行都是词的embedding

token embedding------>token +position-------->
Self-Attention

1.7 GPT2总结

感觉还是像天书一样[捂脸]

2 可视化 Self- Attention

2.1 Self-Attention

3个步骤
1 为每个路径创建Query Key Value矩阵
2 对于每个输入的token , 使用它的Query 向量为所有其他的Key 向量进行打分
3 将Value向量乘以它们对应的分数后求和

2.2 图解 Masked Self_attention

2.2 GPT2 的Self-Attention

评价模型:每次处理一个token

2.3 GPT2 全连接神经网络

用于处理Self Attention 层的输出, 这个输出的表示包含了合适的上下文 全连接神经网络由两层组成
全连接层:

3 语言模型之外

3.1 机器翻译

机器翻译 Encoder不是必须的

3.2 生成摘要

文章的实际开头部分用作训练数据的标签

3.3 迁移学习

在数据量有限制时 ,一个只有Decoder的Transformer 比预训练的Encoder-Decoder Transformer 能够获得更好的结果

3.4 音乐生成

音乐建模就像语言建模一样 ,只需要让模型以无监督的方式学习音乐 ----->采样输出

4 总结

懵~~ 越发感觉到算法里图像,NLP,推荐系统，的三大方向了，每一个都是巨坑

参考

Datawhale基于transformers的自然语言处理(NLP入门)