DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、代码实现、案例应用之详细攻略

DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、案例应用之详细攻略

目录

相关文章

NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2Seq with Attention算法——E-D架构的简介(背景/简介/本质/原理等)、案例应用之详细攻略

DL之Attention：Attention注意力机制算法的起源与盛行及其长距离有效的原因、概述(背景/本质/与ED框架关系/架构/优缺点/扩展，理解，本质，变种)、案例应用(CV/NLP)之详细攻略

DL之self-attention：self-attention自注意力机制的简介(背景、特点、改进对比、传统对比、关系、应用，适合长距离捕获分析)、计算过程(八大步骤)、案例应用之详细攻略

 Paper：Transformer模型起源—2017年的Google机器翻译团队—《Transformer：Attention Is All You Need》翻译并解读-20171206版

Paper：Transformer模型起源—2017年的Google机器翻译团队—《Transformer：Attention Is All You Need》翻译并解读-20230802版

Paper：《The Illustrated Transformer》翻译与解读

LLMs之Transformer：《The Transformer model family—Transformer 模型家族》翻译与解读

DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、案例应用之详细攻略

NLP之Transformer：Transformer架构详解之Encoder(位置编码/多头注意力/Position-Wise前馈网络/层归一化)、Decoder(Masked多头注意力)之详细攻略

NLP之LLMs：Transformer的六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)、两大划时代性模型(BERT模型对比GPT模型)、三类基础架构及其代表性算法之详细攻略

Transformer的简介

1、Transformer的概述

2、Transformer模型的整体结构、各组件意义

2.1、Transformer 模型结构整体解剖图、流程图如下所示

NLP之Transformer：Transformer架构详解之Encoder(位置编码/多头注意力/Position-Wise前馈网络/层归一化)、Decoder(Masked多头注意力)之详细攻略

2.2、Transformer架构细节及核心组件详解

NLP之Transformer：Transformer算法的六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)、全流程各子模块原理详解——输入Embedding+位置编码、Encoder(MHA→PwFFNN)、Decoder(MaskeMHA→MHA→PwFFNN)、Linear+Softmax之详细攻略

3、基于Transformer架构的一系列模型

3.1、基于Transformers模型提高效率的五大类总结

3.2、高效Efficient Transformers模型的计算效率、存储效率及其复杂度对比

3.3、基于Transformer的三类基础架构及其代表性算法

PTMs：预训练大模型算法衍生发展图及其参数对比、基于Transformer的三类基础架构及其代表性算法(BERT/RoBERTa/ALBERT/T5、GPT系列、XLNet/T-NLG)之详细攻略

Transformer的代码实现

T1、解读Transformer的四大组件的代码

T2、基于pytorch实现Transformer

T3、The Annotated Transformer

T4、bbycroft可视化GPT

T5、带注释的Transformer

DL之Transformer：《The Annotated Transformer带注释的变压器》的翻译与解读—思路步骤及实现代码

Transformer的使用方法

1、基于Transformer架构在NLP自然语言处理领域的发展

NLP之LLMs：自然语言处理领域—预训练大模型时代各种吊炸天算法概述(NNLM→Word2Vec→ELMO→Attention→Transformer→GPT/BERT系列)、关系梳理、模型对比之详细攻略

2、基于Transformer架构在CV计算机视觉领域的发展

AI之Transformer：Transformer在CV计算机视觉领域的简介、代表性算法、案例应用之详细攻略

Transformer的案例应用

0、主要领域中的Transformer：计算机视觉/自然语言处理/音频/多模态/强化学习

LLMs之Transformer：《The Transformer model family—Transformer 模型家族》翻译与解读

1、利用Transformer模型可以实现哪些应用案例

2、案例应用

DL之Attention：基于ClutteredMNIST手写数字图片数据集分别利用CNN_Init、ST_CNN算法(CNN+SpatialTransformer)实现多分类预测实现

CV之IC之SpatialTransformer：基于ClutteredMNIST手写数字图片数据集分别利用CNN_Init、ST_CNN算法(CNN+ST)实现多分类预测案例训练过程记录

TF之Transformer：基于tensorflow和Keras框架(特征编码+Tokenizer处理文本+保存模型)针对UCI新闻数据集利用Transformer算法实现新闻文本多分类案例

PT之Transformer：基于PyTorch框架利用Transformer算法针对IMDB数据集实现情感分类的应用案例代码解析

---

相关文章

NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2Seq with Attention算法——E-D架构的简介(背景/简介/本质/原理等)、案例应用之详细攻略