大模型训练显卡对比
大模型训练时 A100 是首选 ,A40 用于推理,目前还推出了 H100 为下一代替换 A100 的产品。
大模型的训练用 4090可以吗?
大模型的训练用 4090 是不行的,但推理(inference/serving)用 4090 不仅可行,在性价比上还能比 H100 稍高。事实上,H100/A100 和 4090 最大的区别就在通信和内存上,算力差距不大。
H100 | A100 | 4090 | |
Tensor FP16 算力 | 989 Tflops | 312 Tflops | 330 Tflops |
Tensor FP32 算力 | 495 Tflops | 156 Tflops | 83 Tflops |
内存容量 | 80 GB | 80 GB | 24 GB |
内存带宽 | 3.35 TB/s | 2 TB/s | 1 TB/s |
通信带宽 | 900 GB/s | 900 GB/s | 64 GB/s |
通信时延 | ~1 us | ~1 us | ~10 us |
售价 | $30000~$40000 | $15000 | $1600 |