关于自己部署AI大模型踩的坑（三）—— 部署

最近一直在研究如何打算属于我自己的J.A.R.V.I.S.（钢铁侠中的机器人管家）。

上一篇写了我最近在部署自己的大模型，使用llama3.1， 和通义千问2。虽然最终结果也是成功了，过程却十分地坎坷。所以这一篇文章一是总结其中遇到的问题，软件、硬件，想到什么就写什么，算是随笔吧。也给后面自己部署的同学们写个避雷指南。

前面已经写了硬件和GPU的相关文章：

关于自己部署AI大模型踩的坑（一）——硬件篇_llama3.1 70b 硬件要求-CSDN博客

关于自己部署AI大模型踩的坑（二）—— GPU篇_ollama用cpu运行大模型是模拟gpu?-CSDN博客

接下来就是要部署大模型了。如果你只是想体验一下大模型，不打算使用GPU，那其实相对来说简单很多。而如果你要你的大模型更加智能，更加地有效地帮助你工作，GPU的使用在所难免，而且GPU的性能还是越高越好——这里有金钱滚滚的声音。

这篇先写部署成功的一些经历：

一、系统和驱动。

虽然windows也可以部署，但对于一个技术人员来说，linux有着不可比拟的稳定性和便捷性，尤其是Docker的使用（Windows也可以部署Docker，非开发人员也可以使用Windows部署相关应用，我选择了Ubuntu来部署）。

安装使用的是Ubuntu24.04, GPU使用的是NVIDIA Tesla P40。

之前选择的是NVIDIA Tesla K80。但K80的 Computer Capability(计算能力)只有3.7，Ollama要求GPU的计算能力在5.0以上，最好是6.0以上。

虽然可以通过修改Ollama源码，重新编译的方式使得Ollama可以使用K80的GPU，但各种适配的环境、应用都需要更改，有点太麻烦了。

同时，NVIDIA提供的CUDA版本，也有点落后了。K80目前可以安装的CUDA最高版本为11.4，而P40最高可以到12.6。

二、安装Ollama

1、自动安装

Ollama的安装，在官方页面上的介绍很简单，只需要一条命令：

curl -fsSL https://ollama.com/install.sh | sh

2、手动安装

但是众所周知的原因，我推荐使用手动安装：

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tgz | sudo tar zx -C /usr