英特尔甩出全新AI训练芯片!跑千亿大模型速度超H200,罕见披露AI浮点性能
大规模AI计算已经进入系统竞赛。
英特尔在年度Intel Vision大会上重磅推出新一代AI训练芯片Gaudi 3,正面向英伟达旗舰芯片发起挑战。会上,英特尔CEO基辛格挥舞着Gaudi 3,跟随现场伴奏开心地摇晃起身体,随后宣布Gaudi 3的战绩:相比英伟达上一代旗舰H100 GPU,Gaudi 3的训练性能可提高70%,推理性能提高50%,能效提高40%,同时价格低得多。
跑动1800亿参数的Falcon模型时,Gaudi 3推理速度惊艳,较英伟达H200快30%!这款芯片采用先进台积电5nm制程技术,搭载128GB HBM2e DRAM内存与第五代Tensor Core架构,内存带宽高达3.7TB/s,配备24个200Gb以太网端口,性能卓越。尽管英特尔暂未公开晶体管总数,但Gaudi 3的出色表现已充分展现其领先实力,令人期待其未来更多精彩表现!
和英伟达、AMD一样,英特尔在最新AI芯片中通过“芯片拼装”设计来超越reticle极限。Gaudi 3基于统一内存架构,将将64个Tensor Core封装在两个计算Tile中,共享96MB缓存池,借助高速互连技术,两个计算Tile能宛如一个完整芯片一样运行。
相比上一代Gaudi 2,Gaudi 3在BF16精度下可提供4倍的AI计算能力、1.5倍的内存带宽、2倍的网络带宽,支持大规模系统横向扩展,最多可扩展至8192个芯片的参考架构。
基辛格说,Gaudi 3将帮助AI经历三个阶段,从AI Copilot时代迈向AI Agent时代,然后抵达AI功能时代,即用于自动化复杂的、企业范围的结果。他预言当发展到第三阶段,功能自动化带来的效率意味着或将出现“一人拥有 10亿美元资产的公司”。
英特尔计划从第一季度和第二季度分别开始向OEM/ODM合作伙伴提供风冷版和液冷版的Gaudi 3芯片样品,从第三季度开始加大风冷部件的出货量,第四季度加大液冷设计的出货量。英特尔还将在开发者云中提供Gaudi 3的支持。
Gaudi 3应该会是英特尔最后一代对标H100的AI训练芯片。毕竟对于今年刚发布过最新旗舰GPU芯片B200的英伟达来说,H100/H200已经是上一代的事了。英伟达Blackwell GPU将在今年晚些时候上市,可以想见Gaudi 3抢占