Atlas 300T A2 超强算力AI训练卡,适用于大模型训练
原创 Sitonholy 思腾合力 2023-10-26 16:30 发表于北京
收录于合集#产品介绍37个
Atlas 300T A2 强化了高速接口和对 PCIe5.0 的支持,集成 20 个 AI 核、8 个 CPU Core、1*200GE RoCE,提供业界领先的280 TFLOPS FP16和75 TFLOPS FP32算力。
Sitonholy
Atlas 300T A2 训练卡是基于昇腾910处理器,配合服务器,为数据中心提供强劲算力的训练卡,加快深度学习训练进程。具有高计算密度、大内存、高带宽等优点,适用于通用服务器。满足运营商、互联网、金融等需要人工智能训练以及高性能计算领域的算力需求。
○ 高度集成
AI算力、通用算力、I/O能力三合一。
处理器集成20个华为达芬奇AI Core+8个TaiShan Core。
○ 超强算力
提供业界领先的280 TFLOPS FP16和75 TFLOPS FP32算力。
○ 高速带宽
支持PCIe 5.0和1*200G RoCE以太网口。
无需外置网卡,训练数据和梯度同步效率得到提升。
昇腾910,高性能训练 AI 处理器,半精度(FP16) 算力达到 320 TFLOPS,整数精度(INT8)算力达到 640 TOPS,功耗 310W,采用 7nm 先进工艺。此外,昇腾 910 集成了 HCCS、PCIe 4.0 和 RoCE v2 接口,为构建横向扩展 (Scale Out)和纵向扩展(Scale Up)系统提供了灵活高效的方法。HCCS 是华为自研的高速互联接口,片内 RoCE 可用于节点间直接互联。
Atlas 300T A2 训练卡典型应用场景为AI训练,人机交互操作。
● 系统管理员:操作界面是iBMC系统,通过带外的方式实现设备管理,包含OS安装,固件升级,服务器系统信息查询,故障处理。
● 生产装备人员:通过装备系统与iBMC系统(带外)和OS系统(带内)交互完成。
● 算法工程师:通过AI框架开发网络模型,调试训练代码,导入训练数据集,启动训练,观测训练过程(包含多次迭代的loss趋势),导出训练好的模型。