1B 语言模型 总 bs 2 填满显存 deepspeed
h800 zero1 3090 zero2
深度学习硬件性能与成本比较:H800 vs 3090
在深度学习领域,选择合适的硬件对于模型训练的速度和成本至关重要。本文将比较两种常见的硬件配置:NVIDIA H800和NVIDIA 3090,分别在4卡配置下的性能和成本。
硬件性能比较
首先,我们来看一下这两种硬件在4卡配置下的性能表现。性能通常通过每秒处理的批次数(bs/s)来衡量。
硬件型号 | 卡数 | 每秒处理批次数 (bs/s) | 市价 (人民币) |
---|---|---|---|
H800 | 4 | 1.49 | 200,000 |
3090 | 4 | 0.38 | 6,500 |
性价比比较
性价比通常是通过将性能与价格进行比较来计算的。在这个例子中,性能可以用每秒处理的批次数(bs/s)来表示,价格则是市价(人民币)。性价比可以简单地表示为:
性价比 = 性能 价格 \text{性价比} = \frac{\text{性能}}{\text{价格}} 性价比=价格性能
我们可以分别计算H800和3090的性价比。
H800的性价比
性能:1.49 bs/s
价格:200,000 人民币
H800的性价比 = 1.49 bs/s 200 , 000 人民币 = 7.45 × 1 0 − 6 bs/s/人民币 \text{H800的性价比} = \frac{1.49 \text{ bs/s}}{200,000 \text{ 人民币}} = 7.45 \times 10^{-6} \text{ bs/s/人民币} H800的性价比=200,000 人民币1.49 bs/s=7.45×10−6 bs/s/人民币
3090的性价比
性能:0.38 bs/s
价格:6,500 人民币
3090的性价比 = 0.38 bs/s 6 , 500 人民币 = 5.85 × 1 0 − 5 bs/s/人民币 \text{3090的性价比} = \frac{0.38 \text{ bs/s}}{6,500 \text{ 人民币}} = 5.85 \times 10^{-5} \text{ bs/s/人民币} 3090的性价比=6,500 人民币0.38 bs/s=5.85×10−5 bs/s/人民币
比较性价比
H800的性价比是
7.45
×
1
0
−
6
bs/s/人民币
7.45 \times 10^{-6} \text{ bs/s/人民币}
7.45×10−6 bs/s/人民币
3090的性价比是
5.85
×
1
0
−
5
bs/s/人民币
5.85 \times 10^{-5} \text{ bs/s/人民币}
5.85×10−5 bs/s/人民币
显然,3090的性价比更高,大约是H800的7.85倍。
因此,从性价比的角度来看,3090比H800更具优势。