可训练24万亿参数的大模型,Cerebras 推出其下一代晶圆级 AI 芯片
该公司表示将在新一代人工智能计算机中使用 WSE-3,这些计算机目前正在 Dallas 的一个数据中心组装,这将是一台能够执行 8 exaflops(每秒 80 亿次浮点运算)的超级计算机。Wafer Scale Engine 3 (WSE-3,文中又称 CS-3) 包含 4 万亿个晶体管,由于使用了更新的芯片制造技术,比上一代增加了 50% 以上。该公司表示,CS-3 可以训练高达 24 万亿个参数的神经网络模型,是当今最大的 LLM 规模的 10 倍多,并且无需诉诸其他计算机所需的一组软件技巧。
原创
2024-03-16 17:57:18 ·
883 阅读 ·
0 评论