30 系列 Ampere 架构 GPU 大幅度提升了 CUDA 核心数量, 3090 提升到了 10496 个 CUDA 核心, 相应配置了 24GB GDDR6X 显存. 但是对应也大幅度提升了功耗, 首次引进了 12pin 供电规格.
当然, 3080 对于机器学习用来说一点都不香, 区区 10GB 显存, 还不如 2080Ti/1080Ti 呢.
24GB 的 3090, 可以说在炼丹性价比上超过了 20K 售价的 Titan RTX
不过公版 3090 引入了新的问题: 3 槽, 大多数风冷卡 2.5 槽, 超高, 12 pin, 本来8槽机箱能塞四张卡, 现在可能只能插两张 3090 了.
要么选择更贵的一体水冷卡, 但是一体水冷的问题还是在于, 当你装超过两张卡的时候, 没有地方装冷排.
选择分体水冷, 目前看到的问题有:
- 公版挡板还是三槽
- PCB 本身还是超高
- 一套价格仍然昂贵, 特别是需要巨大的冷排
- 前期组装成本高(说白了麻烦的事情对在座各位好处有限), 特别是东西大概率是公家的, 导师经不起这么高风险、高维护成本, 别装出了问题把毕业搞黄了
首先先说供电, 由于卡相对少了, 这是最好解决的问题:
双路 3090
海盗船有个走 USB 的监控工具, 直通到虚拟机里面就能看当前各路输出状态. 对于不具备 SMBus 的消费级平台来说挺好的. 主要特点还是转换效率到了钛金水平. 消费级毕竟没有冗余
三路 3090
2000W 级别的电源已经没什么电源了, 再上去很多都是给矿设计的. 振华 2000W 算是从四路泰坦时代过来的货
机箱
之前 10 槽 900D 退市了, 780T 有 9 条, 基本满足 3 块三槽卡或3+2+3使用(因为第一条插槽通常被 M.2 占据)
并且这个机箱提供了比较充足的机械硬盘位, 可以便于放较大的数据集.
CPU/主板
华硕这块 Pro WS X570 是目前 X570 系列比较少见提供带外的 ATX 主板. 3950X 也是目前最接近 HEDT 配置的常规平台处理器.
支持平台管理功能, 对于实验室有大量机器的场景来说算是非常贴心. 毕竟 X299/X399 都是消费级主板, 并不会考虑 BMC 功能.
这块板有 16+0+8/8+8+8 两种配置, 因为支持 PCIe 4.0, 即便是 x8 的带宽也达到了 PCIe 3.0x16 的水平. 最后一条槽来自于 PCH, 能够达到 PCIe 3.0x8 的速率.
因为第一条槽被 22110 的 M2 占据的原因, 234 槽为第一卡, 56 槽可以安装双槽水冷卡或者PCIe 万兆卡/SSD 卡, 第三槽安装另外一张显卡.
华硕还很贴心配了显卡支架.
不推荐 TRX40 的原因很简单: 不见得能装更多卡, 以及机器学习还是更看显卡, 花钱要花在刀刃上.
同时要注意第二槽的水冷卡尽可能选择短卡, 现在 3090 的风冷卡普遍在远离插槽侧的风扇采用了透风设计以增加风流量.
当然从散热的角度考虑, 第二槽插入网卡是最合适的.
内存
X570 平台最大可以支持 128GB 无缓冲ECC. ECC 对于 24/7 运行非常重要.
网络
如果选用双卡方案, 可以考虑用中间的 8x 插槽接入万兆或者 40G 级别的网卡:
如果不方便使用 PCIe 网卡, 其实现在也有 USB 的 5Gbps/2Gbps 网卡:
Luv Letter:廉价家庭 2.5G交换机/万兆 NAS/Wi-Fi 6 设计方案zhuanlan.zhihu.com存储
Pro WS X570 两条都支持 22110 规格, 外加一个 U.2, 我的建议是两条 22110 做 RAID1, 放系统和热训练数据.
或者是一条 22110 转换为 PCIe 3.0 x4 接网卡, 那么就可以用 U.2+22110 组成 RAID1
X570 平台的 SATA 性能一般, 不建议接 SATA SSD, 但是可以用 Linux 的 md 软 RAID 组 RAID5/RAID6, 或者使用 ZFS 归档老数据.