关于自己部署AI大模型踩的坑（一）——硬件篇

最近一直在研究如何打算属于我自己的J.A.R.V.I.S.（钢铁侠中的机器人管家）。

上一篇写了我最近在部署自己的大模型，使用llama3.1， 和通义千问2。虽然最终结果也是成功了，过程却十分地坎坷。

所以这一篇文章一是总结其中遇到的问题，软件、硬件，想到什么就写什么，算是随笔吧。也给后面自己部署的同学们写个避雷指南。

关于自己部署AI大模型踩的坑 之一 ——硬件篇

总体来说，大模型对于硬件的要求还是相对较高的。比如Llama3.1有三个尺寸：8B（中杯）、70B（大杯）和 405B（超大杯）。

Llama3.1公开硬件要求如下：

硬件要求

• RAM：Llama 3 8B至少16GB，Llama 3 70B至少64GB或更多。
• GPU：具有至少8GB VRAM的强大GPU，最好是支持CUDA的NVIDIA GPU。
• 磁盘空间：Llama