作者华校专,曾任阿里巴巴资深算法工程师、智易科技首席算法研究员,现任腾讯高级研究员,《Python 大战机器学习》的作者。华老师也是我们的知识星球的嘉宾。
这是作者多年以来学习总结的笔记,经整理之后开源于世。
http://www.huaxiaozhuan.com/深度学习/chapters/7_Transformer.html
Transformer简介
Transformer
是一种新的、基于 attention
机制来实现的特征提取器,可用于代替 CNN
和 RNN
来提取序列的特征。
Transformer
首次由论文 《Attention Is All You Need》
提出,在该论文中 Transformer
用于 encoder - decoder
架构。事实上 Transformer
可以单独应用于 encoder
或者单独应用于 decoder
。
Transformer笔记目录
一、Transformer
1.1 结构
1.2 Transformer vs CNN vs RNN
1.3 实验结果
二、Universal Transformer
2.1 结构
2.2 ACT
2.3 实验结果
三、Transformer XL
3.1 Segment-level 递归
3.2 相对位置编码
3.3 实验结果
四、GPT
4.1 GPT V1
4.2 GPT V2
五、BERT
5.1 预训练
5.2 模型结构
5.3 微调
5.4 性能
六、ERNIE
6.1 ERNIE 1.0
6.2 ERNIE 2.0
七、XLNet
7.1 自回归语言模型 vs 自编码语言模型
7.2 Permutation Language Model
7.3 Two-Stream Self-Attention
7.4 Partial Prediction
7.5 引入 Transformer XL
7.6 多输入
7.7 模型比较
7.8 实验
八、MT-DNN
8.1 模型
8.2 实验
九、BERT 扩展
9.1 BERT-wwm-ext
9.2 RoBERTa
笔记截图
笔记截图
其他
华校专老师的个人网站:
http://www.huaxiaozhuan.com/
http://www.huaxiaozhuan.com/深度学习/chapters/7_Transformer.html
github:
https://github.com/huaxz1986
往期精彩回顾