文章目录
视频from:https://www.youtube.com/watch?v=l8pRSuU81PU
01:22:18 SECTION 2: Let’s make it fast. GPUs, mixed precision, 1000ms
01:28:14 Tensor Cores, timing the code, TF32 precision, 333ms
01:39:38 float16, gradient scalers, bfloat16, 300ms
01:48:15 torch.compile, Python overhead, kernel fusion, 130ms
02:00:18 flash attention, 96ms
02:06:54 nice/ugly numbers. vocab size 50257 → 50304, 93ms
总结:
1
2
3
4
5
01:22:18 SECTION 2: Let’s make it fast. GPUs, mixed precision, 1000ms
军火展示
不同数据类型所能获得的计算量
gpu默认, 时间:1000ms【第一次比较慢,初始化一些】
每秒处理多少个token?
一行代码就可以加速/启用!【tf32,提升3倍!】
01:39:38 float16, gradient scalers, bfloat16, 300ms
混合精度训练
文档
最简单的使用方法:
01:48:15 torch.compile, Python overhead, kernel fusion, 130ms
02:00:18 flash attention, 96ms
文章目录
02:06:54 nice/ugly numbers. vocab size 50257 → 50304, 93ms【2的幂】