3090和A100选型区别

概述

现在有个疑惑上机器学习平台是上3090ti还是上A100，两者价格目前差距也是挺大的，3090ti目前的价格是15000左右，4090出来后应该有所下降，毕竟4090官方售价是12999。A100的价格是15000美金是比较贵的。连上代的V100现在也卖59999。
深度学习主要看单精度计算能力和在使用张量和半精度情况下算力，显存还有显存与内存的通信能力

性价比

3090ti的算力是A100的一半
3090ti是160Tflops而A100有320Tflops的算力
3090ti价格是A100十分之一
现在3090ti在美国是1500美金而A100是15000美金
3090ti显存是A100的三分之一
3090ti显存24G而A100是80G

游戏显卡性价比算力是高了5倍，显存是高了三倍，如果有了新的4090和H100预测性价比会差距更大。如果换成80Tflops的3070，只要499美金性价比更高。但是1+1是小于2的，互联的访问内存的带宽是小于一块卡访问内存的带宽的。一块卡是1TB的带宽而互联有可能只有1/10.

散热

3090ti有三风扇版，如果多卡放在一起，会互相散热影响，风道设计不好，如果用涡轮版风都是吸入后从后散热不会出现这个问题
当然如果资金足够直接买水冷显卡不会出现这个问题。

显存通信

显卡使用PCI-E4.0每条通道的通信速度是2GB，一张卡最多16X，最多32G，这是最大值远小于A100 600G

30系列提供NVLINK3.0接口这个提供4条，而A100有12条。这样相当于传输速度只有1/3

总结

如果都是小模型的化，日常yolo ssd那些没必要上计算卡，游戏卡完全够用了。如果是大模型dalle2 那些对抗生成网络有必要上计算卡。长时间运行A100用的是HBM2显存颗粒而3090ti是gddr6，运行半年后3090ti坏损比较严重，而A100基本无故障。HBM2的发热能力也比较低。