【LLM入门】Let‘s reproduce GPT-2 (124M) | Section2 加快你的模型训练【混合精度训练，模型编译，flash attention，2的幂】

视频from：https://www.youtube.com/watch?v=l8pRSuU81PU

01:22:18 SECTION 2: Let’s make it fast. GPUs, mixed precision, 1000ms
01:28:14 Tensor Cores, timing the code, TF32 precision, 333ms
01:39:38 float16, gradient scalers, bfloat16, 300ms
01:48:15 torch.compile, Python overhead, kernel fusion, 130ms
02:00:18 flash attention, 96ms
02:06:54 nice/ugly numbers. vocab size 50257 → 50304, 93ms

总结：

1

2

3

4

5

---

01:22:18 SECTION 2: Let’s make it fast. GPUs, mixed precision, 1000ms

军火展示

不同数据类型所能获得的计算量

gpu默认， 时间：1000ms【第一次比较慢，初始化一些】

每秒处理多少个token？

一行代码就可以加速/启用！【tf32，提升3倍！】

01:39:38 float16, gradient scalers, bfloat16, 300ms

混合精度训练

文档

最简单的使用方法：

01:48:15 torch.compile, Python overhead, kernel fusion, 130ms

02:00:18 flash attention, 96ms

02:06:54 nice/ugly numbers. vocab size 50257 → 50304, 93ms【2的幂】