transformer理论、pytorch/tensorflow实现、时序预测/文本分类案例

@创建于：20210617
@修改于：20210617

1. transformer理论

• bilibili：李宏毅老师2020机器学习（深度学习）课程

• CSDN：图解Transformer（完整版），这篇翻译自The Illustrated Transformer

• CSDN：深度学习Transformer模型介绍

• 知乎：Transformer理论源码细节详解，翻译自 harvardnlp 的The Annotated Transformer

• 知乎：Transformer详解，包含pytorch编写的代码。

2. tensorflow实现及案例

2.1 tf官网实现transformer

TF官网：理解语言的 Transformer 模型

2.2 tf2.x 例子

• 知乎：TF 2.0 Keras 实现 Multi-Head Attention 和 知乎：TF 2.0 Keras 实现 Transformer，完整代码在github： LongmaoTeamTf /deep_recommenders

• 知乎：TensorFlow 2.0 教程-Transformer

• csdn：使用Transfromer模型做文本分类（NLP分类最佳模型），相关完整代码在github：xiaosongshine /transfromer_keras

• csdn：【从官方案例学框架Tensorflow/Keras】搭建Transformer模型解决文本分类问题

• Tensorflow2.0实战-Transformer的理解与实现

2.3 tf 1.x 例子

• Transformer文本生成与tensorflow实现
• Transformer源码理解(Tensorflow)，来自github https://github.com/Kyubyong/transformer

3. pytorch实现及案例

3.1 pytorch官网实现transformer

transforme的pytorchr官网实现：Language Modeling with nn.Transformer and TorchText，模块化的API参见Transformer Layers

3.2 例子

• 知乎：用于时间序列预测的深度Transformer模型:流感流行病例 对应的代码是 ：LiamMaclean216 /Pytorch-Transfomer

• 知乎：Pytorch框架下的Transformer时间序列预测实例，利用transformer的encoder部分对Web of Science网站的论文引用量进行预测。该博客的完整代码在百度网盘，提取码1234。。其参考的其他项目代码在github上 oliverguhr /transformer-time-series-prediction

• 基于pyTorch的Transformer，时间序列预测，其参考的是官方文档代码。