目前AI公司还需要多少张H100 GPU显卡

最近，GPU Utils更新了关于英伟达H100显卡供需现状的分析文章，里面主要透露、总结了当前影响GPU的主流厂商拥有显卡的数量以及对显卡的需求量。作者表示，考虑到训练和推理性能，以及推理方面性价比，H100是当前最受欢迎的GPU（具体为8-GPU HGX H100 SXM）。GPU Utils认为，保守估计，H100的供给缺口达到了43万张。

• GPU供需情况分析： 因其在AI模型训练和推理任务中表现出的优异性能和性价比，主流AI公司对英伟达H100显卡的巨大需求，尤其是H100型号。

• 主要需求方：

  • 大型语言模型创业公司，如OpenAI、Anthropic、Inflection等。
  • 云服务提供商，如Azure、Google Cloud、AWS等。
  • 大公司，如特斯拉等。

• H100显卡短缺原因： 主要是产能问题，特别是英伟达的生产能力无法满足当前市场对H100显卡的巨大需求。

• 对AMD GPU的考虑： 讨论了为什么很多公司在选择GPU时倾向于使用NVIDIA的产品而不是AMD，主要原因包括CUDA生态系统的成熟以及AMD GPU的可用性问题。

• 产能瓶颈： 介绍了产能瓶颈主要存在于半导体生产环节，尤其是与台积电的合作以及高性能内存HBM的制造问题。

• 市场需求预测： 估计，整个市场对H100的需求大约为43万张，暗示了未来一段时间内H100显卡可能会继续面临供不应求的局面。