关于自己部署AI大模型踩的坑（一）——硬件篇

最近一直在研究如何打算属于我自己的J.A.R.V.I.S.（钢铁侠中的机器人管家）。

上一篇写了我最近在部署自己的大模型，使用llama3.1， 和通义千问2。虽然最终结果也是成功了，过程却十分地坎坷。

所以这一篇文章一是总结其中遇到的问题，软件、硬件，想到什么就写什么，算是随笔吧。也给后面自己部署的同学们写个避雷指南。

关于自己部署AI大模型踩的坑 之一 ——硬件篇

总体来说，大模型对于硬件的要求还是相对较高的。比如Llama3.1有三个尺寸：8B（中杯）、70B（大杯）和 405B（超大杯）。

Llama3.1公开硬件要求如下：

硬件要求

• RAM：Llama 3 8B至少16GB，Llama 3 70B至少64GB或更多。
• GPU：具有至少8GB VRAM的强大GPU，最好是支持CUDA的NVIDIA GPU。
• 磁盘空间：Llama 3 8B约为4GB，而Llama 3 70B超过20GB。

软件要求

• Docker：ollama依靠Docker容器进行部署。
• CUDA：如果使用NVIDIA GPU，则必须安装并配置相应的CUDA版本

很明显，一般的家用电脑，即使达到部分要求，也很难均衡和稳定地实现相关功能。所以我从一开始就决定弄台退役服务器来搞这个。

选择退役服务器的最大优势就是性价比超级高，硬件成本相对无限低。

比如我选择的就是DELL的PowerEdge R730XD（劝大家不要盲从，这里也有一个小坑，后面会讲）。

配制上面简直是桶装面加香肠，压力完全不大：

1、CPU用E5 26系列v3、v4CPU，可以双路（如果不用顶级CPU，基本是白菜价）；

2、内存DDR4  ECC内存（服务器内存，便宜）， 24个内存插槽，RDIMM 内存在双处理器配置下，容量最高为768 GB 的 RDIMM， LRDIMM内存在双处理器配置下，容量最高为 3,072 GB。

3、硬盘配制也是相当给力，12（前置3.5寸硬盘位）+4（中置扩展位）+2（后置2.5寸硬盘位）共计可以最多18个硬盘位可扩展（我只用了一个，3T硬盘，哈哈哈）。

4、GPU位。R730XD服务器有三个PCIE提升卡（RAIS卡）位置。但只能在Raiser2的位置可以装一张全高双槽GPU，Raiser3位置是一个单槽位置，Raiser1位置是X8，不够正常扩展。这点上面R730的设置优势就比较大了。（这也是我所谓的坑的一点，如果对于GPU要求更多的同学，这里可以选择R730，而不是R730XD）

所以，关于硬件方面的总结：

        如果不在意耗电的情况下（个人跑满的话，功率大概在250W-300W之间。不使用GPU，双U跑的话功率大概在160-200W之间），选取退役服务器还是性价比非常高的。其他方面比如CPU，内存，硬盘位置方面，个人觉得应该不存在太大的限制空间，但GPU的可扩展要尤其注意。

        比如我选择了一张24G的GPU，可能一张就可以用了。但如果一张GPU算力不够，或者使用人数够多，需要再扩展GPU的时候，那GPU的扩展空间就需要再斟酌一下了。