从零实现Transformer
关注
分享
扫一扫
文章平均质量分 87
《从零实现Transformer》系列教程将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。
二分掌柜的
二分掌柜的
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
从零实现Transformer：第 1 部分 - 输入嵌入与位置编码（Input Embeddings & Positional Encoding）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-04-29 17:17:34 · 528 阅读 · 0 评论 -
基于 Transformer 架构的翻译模型实践 - SentencePiece 分词的例子
基于 Transformer 架构的翻译模型实践原创 2026-05-20 21:09:07 · 460 阅读 · 0 评论 -
从零实现Transformer：第 3 部分 - 掩码多头注意力（Masked Multi-Head Attention）可视化直观展示掩码的作用
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-12 15:10:04 · 939 阅读 · 0 评论 -
Transformer 架构里关于 Attention 概念的澄清
flyfish原创 2026-04-29 14:35:15 · 734 阅读 · 0 评论 -
从零实现Transformer：第 8 部分 - 数据集构建与训练全流程（Dataset Construction and Full Training Workflow）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-06 19:12:24 · 475 阅读 · 0 评论 -
构建中文版的 nanoGPT - 原始版本 nanoGPT 的分词（tokenization）
flyfish原创 2026-05-28 18:47:49 · 254 阅读 · 0 评论 -
基于 Transformer 架构的翻译模型实践 - 主流分词器（Tokenizer）的对比
基于 Transformer 架构的翻译模型实践原创 2026-05-20 21:08:45 · 425 阅读 · 0 评论 -
从零实现Transformer：第 3 部分 - 掩码多头注意力的掩码广播（Broadcasting of Masks in Masked Multi-Head Attention）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-12 14:23:03 · 533 阅读 · 0 评论 -
构建中文版的 nanoGPT - 断点续训（resume from checkpoint）
flyfish原创 2026-05-28 18:49:48 · 586 阅读 · 0 评论 -
基于 Transformer 架构的翻译模型实践 - 使用 SentencePiece 训练中英双语的分词器（Tokenizer）
基于 Transformer 架构的翻译模型实践原创 2026-05-20 21:09:34 · 453 阅读 · 0 评论 -
从零实现 Transformer：第 0 部分 - 基础（ Foundations）squeeze / unsqueeze 修改张量的维度结构（shape）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-11 19:53:55 · 409 阅读 · 0 评论 -
构建中文版的 nanoGPT - 中文版 nanoGPT 的分词（tokenization）
flyfish原创 2026-05-28 18:48:31 · 227 阅读 · 0 评论 -
从零实现Transformer：第 3 部分 - 多头注意力机制（Multi-Head Attention）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-04-30 15:59:32 · 707 阅读 · 0 评论 -
从零实现 Transformer：第 0 部分 - 基础（ Foundations）view 重塑形状 和 transpose 交换维度顺序
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-11 19:49:13 · 115 阅读 · 0 评论 -
构建中文版的 nanoGPT - 位置嵌入（ Position Embedding）
flyfish原创 2026-05-28 18:49:10 · 223 阅读 · 0 评论 -
Transformer 编码器堆叠的 Encoder 层之间，和多头注意力模块内部各独立单注意力头之间，在 QKV 上处理的区别
flyfish原创 2026-05-01 15:07:28 · 412 阅读 · 0 评论 -
从零实现 Transformer：第 0 部分 - 简介与基础（Introduction & Foundations）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-04-29 15:37:44 · 512 阅读 · 0 评论 -
从零实现Transformer：第 7 部分 - 集成组件搭建完整模型（Integrating Components to Assemble the Transformer Model）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-06 19:11:21 · 674 阅读 · 0 评论 -
Transformer 中 Input Embedding 到底怎么变成 Attention 的 Q、K、V？
flyfish原创 2026-05-01 15:09:29 · 310 阅读 · 0 评论 -
从零实现Transformer：第 3 部分 - 多头注意力分数维度布局
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-12 14:22:06 · 407 阅读 · 0 评论 -
Transformer 嵌入层 nn.Embedding 到底是什么？
flyfish原创 2026-04-24 18:50:28 · 797 阅读 · 0 评论 -
从零实现Transformer：第 2 部分 - 缩放点积注意力（Scaled Dot-Product Attention）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-04-30 10:33:59 · 1351 阅读 · 0 评论 -
从零实现Transformer：第 4 部分 - Residual Connection的两种实现 Pre-LN 和 Post-LN
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-13 21:11:00 · 515 阅读 · 0 评论 -
基于 Transformer 架构的翻译模型实践 - SentencePiece 输出的 token ID 到 Transformer 可处理的词向量
基于 Transformer 架构的翻译模型实践原创 2026-05-20 21:09:54 · 513 阅读 · 0 评论 -
从零实现Transformer：第 6 部分 - 解码器（The Decoder）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-04 15:24:25 · 553 阅读 · 0 评论 -
从零实现Transformer：第 4 部分 - 残差连接、层归一化与前馈网络（Add & Norm, Feed-Forward）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-02 13:25:50 · 576 阅读 · 0 评论 -
从零实现Transformer：第 5 部分 - 编码器（The Encoder）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-04 15:23:46 · 617 阅读 · 0 评论 -
从零实现Transformer：第 9 部分 - 推理（Inference ）
本文属于《从零实现Transformer》系列教程。本系列将基于 PyTorch 从零逐层搭建 Transformer 完整架构。深入拆解每一个组件（注意力机制、嵌入层、编码器、解码器等），夯实底层原理，亲手实现并训练属于自己的 Transformer 模型。原创 2026-05-13 21:09:32 · 539 阅读 · 0 评论