Ai学习之Ollama使用GPU运行模型的环境部署

已于 2025-02-21 16:46:28 修改
阅读量3.5w 收藏 138
点赞数 52
分类专栏： AI 文章标签： 人工智能 学习 深度学习
于 2025-01-06 17:15:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42869414/article/details/144966813
版权

本文将介绍Ollama使用GPU运行模型的环境部署

1.背景介绍

        对于像Llama 3 8B这样的小模型，使用CPU或集成显卡可以很好地工作。然而，如果您的计算机有Nvidia独立显卡，并且您希望运行更大的模型或实现更快的响应时间，您需要安装CUDA Toolkit以更好地利用独立显卡。

注意：使用GPU加速仅适用于具有计算能力5.0以上的Nvidia GPU。如果您使用的是AMD GPU，您可以查看支持的设备列表以确认您的显卡是否受Ollama支持。然而，CUDA Toolkit仅适用于Nvidia GPU，AMD GPU未深究。

GPU支持信息：ollama-doc/ollama/docs/Ollama 对GPU 支持信息.md at main · qianniucity/ollama-doc

Ollama支持的AMD GPU

系列 显卡和加速器
AMD Radeon RX 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 Vega 64 Vega 56
AMD Radeon PRO W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 V420 V340 V320 Vega II Duo Vega II VII SSG
AMD Instinct MI300X MI300A MI300 MI250X MI250 MI210 MI200 MI100 MI60 MI50

Nvidia GPU用户应检查您的计算能力以确认您的显卡是否受支持：CUDA GPUs - Compute Capability | NVIDIA Developer

计算能力

 系列 显卡
9.0 NVIDIA H100
8.9 GeForce RTX 40xx RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti SUPER RTX 4070 Ti RTX 4070 SUPER RTX 4070 RTX 4060 Ti RTX 4060
NVIDIA Professional L4 L40 RTX 6000
8.6 GeForce RTX 30xx RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060
NVI
最低0.47元/天 解锁文章
在个人 Linux 机器 (GPU/CPU) 上本地运行 LLaMA-3(Docker+Ollama+Open WebUI+LLama3教程含详细步骤)
iCloudEnd的博客
04-21 1万+
Ollama是一个强大的框架，专为大型语言模型的本地执行而设计。它提供了一种用户友好的方法来部署和管理人工智能模型，使用户能够直接从他们的机器运行各种预训练或自定义模型。Ollama 的多功能性突出在于其全面的模型库，范围从较小的 80 亿参数模型到大量的 700 亿参数版本，可满足不同的计算和应用需求。OLLAMA 优化的技术见解Ollama 采用了一系列优化来确保跨不同硬件设置的高效模型性能：硬件优化：利用 GPU 加速显着提高性能，在纯 CPU 配置上实现高达两倍的处理速度。
Ollama运行DeepSeek大模型调优指南：GPU与CPU协同实现性能最大化
qq_32358423的博客
02-26 1633
Ollama运行DeepSeek大模型调优指南
【linux】Ollama 服务无法使用GPU的原因
最新发布
通往成功之路的一个过客
03-13 1197
使用ollama ps如果是docker安装则执行执行如下可以看到模型是只运行在CPU上。
配置Ollama优先使用GPU进行计算的完整步骤
学亮编程手记
02-13 8871
根据需要，调整Ollama使用的GPU资源，如显存分配或指定特定GPU。确保系统已安装GPU驱动和CUDA工具包，并验证CUDA是否正常工作。如果Ollama支持配置文件，可以在其中指定使用GPU。Ollama可能提供支持GPU的版本，需确保安装的是该版本。在运行Ollama前，设置环境变量以启用GPU支持。通过环境变量或配置文件指定Ollama使用GPU。运行Ollama后，检查日志或使用。命令确认GPU是否被调用。查看GPU使用情况。
Ollama系列---【ollama使用gpu运行大模型】
-少年-的博客
02-09 4629
一、安装CudaToolkit 使用控制台命令查看当前显卡驱动中的cuda版本 nvidia-smi 二、下载CudaToolkit 注意：CudaToolkit版本要低于上面的显卡Cuda版本。 Cuda各版本下载地址：https://developer.nvidia.com/cuda-toolkit-archive 下载好之后，一路下一步，一直默认即可。 如果安装到了自定义的位置，记得加环...
【快捷部署】018_Ollama（GPU版）
luckcxy的专栏
04-15 7702
16期介绍的仅CPU的快捷部署，本文介绍带有GPU的云服务器快捷部署。
一文教你在windows上实现ollama+open webui、外网访问本地模型、ollama使用GPU加速
热门推荐
qq_28413709的博客
04-26 3万+
ollama工具的出现让大语言模型的部署变得格外的轻松，但是在windows系统部署之后发现无法使用GPU进行加速，通过多方面查找资料发现可以在docker中使用命令启用GPU加速。另外通过Docker也可以快速部署open webui,于是本文基于docker实现ollama模型的部署，以及webui部署。最终部署成功后可以实现公网访问本地大语言模型功能。
1panel面板使用GPU启动ollama
Hbb123654的博客
06-18 2852
其中/opt/1panel/apps/ollama为自己得安装路径。5、已GPU运行ollama得docker命令。6、运行模型查看是否在GPU运行。1、暂停ollama容器。2、删除ollama镜像。
在Linux上如何让ollama在GPU上运行模型
ZhongUncle的博客
01-18 1万+
之前一直在Mac上使用ollama所以没注意，最近在Ubuntu上运行发现一直在CPU上跑。我一开始以为是超显存了，因为Mac上如果超内存的话，那么就只用CPU，但是我发现Llama3.23B只占用3GB，这远没有超。看了一下命令没发现有相关的选项。所以我查了一下。运气很好，找到了一篇博客写了可以强制在GPU上的方法：用容器跑。我也不知道为什么用容器就在GPU上跑了，官方也没有相关说明。
配置 Ollama 使用 GPU 加速模型推理
学亮编程手记
02-22 9280
注：实际性能受模型量化方式（q4_0/q5_K_M）影响显著。
DeepSeek本地部署：Ollama环境搭建与模型运行指南
02-03
使用场景及目标：为研究或业务应用场景构建强大的AI助手，在安全可控环境中对先进的人工智能模型进行探索，提高工作效率或是科研成果的质量。 其他说明：由于涉及到多个外部站点以及可能存在的网络限制，请注意提前...
【AI基础】租用云GPU之autoDL部署大模型ollama+llama3
旭日跑马踏云飞的专栏
06-18 7153
在这个显卡昂贵的年代，很多想要尝试一下AI的人可能都止步于第一步。这个时候我们可以租用在线的GPU资源来使用AI。autoDL就是这样的一个云平台。
【AI】在docker中部署ollama体验AI模型
随缘观
03-01 2万+
在docker中部署ollama体验AI模型。
设置Ollama模型跑在GPU上
更多内容查看博客描述。
02-11 1412
Ollama 对GPU 支持信息: https://github.com/qianniucity/ollama-doc/blob/main/ollama/docs/Ollama%20%E5%AF%B9GPU%20%E6%94%AF%E6%8C%81%E4%BF%A1%E6%81%AF.md。按照上面设置后，控制台使用Ollama ps 显示GPU是主要负载，但是任务管理器中看到的却是GPU没怎么跑，CPU占用很高。是 NVIDIA 提供的用于监控 GPU 状态的工具，也可以用来检查 CUDA 的版本。
ollama运行怎么使用8张A10的GPU卡
keyboard专栏
01-14 1万+
如果你需要进行多 GPU 加速（例如数据并行），需要确保 Ollama 和你的模型支持分布式计算。如果 Ollama 本身没有直接支持多 GPU，你可能需要自行调整代码或配置文件来启用该功能。如果问题仍然存在，可能需要查阅 Ollama 的文档，确认它是否支持多 GPU 并行计算，或对性能进行进一步的优化。来监控每张卡的使用情况。如果只看到一个 GPU 在工作，可能是配置不正确，或者模型没有正确地并行化到多个 GPU。如果你想指定使用特定的 GPU，可以通过设置。，它应该会自动识别并使用你指定的 GPU。
【LINUX】OLLAMA服务无法使用GPU（已解决）
m0_48307012的博客
03-06 481
（LINUX）OLLAMA服务无法使用GPU~求救！
ollama调用GPU加速模型运行测试
02-21 2806
在个人计算机上成功安装PDFMathTranslate工具，通过ollama调用本地模型qwen2.5:7b，测试翻译1个8page的科技论文，需要耗时40多分钟，工具虽可用，但十分缓慢，使用效果差。通过ollama PS查看工具运行过程发现，CPU使用率100%，未激活本机GPU。。
ollama 指定GPU运行
未觉池塘春草梦，阶前梧叶已秋声
02-13 2138
对于本地部署的deepseek，如果想要指定在某张或者某几张卡上执行的话。
ollama使用gpu运行
02-08
### 配置 Ollama 使用 GPU 加速 为了使 Ollama 能够利用 GPU 进行加速，需按照特定步骤来设置环境。这涉及到了解如何通过 Docker 和 NVIDIA 工具包集成 GPU 支持。 #### 修改 `docker-compose` 文件以支持 GPU 当在 1Panel 应用市场上完成 Ollama 的默认安装之后，要编辑其对应的 `docker-compose.yml` 文件，在服务定义部分加入必要的参数以便激活 GPU 功能[^1]： ```yaml version: '3' services: ollama: image: ollama/ollama deploy: resources: reservations: devices: - capabilities: [gpu] volumes: - /opt/ai/ollama:/root/.ollama ports: - "11434:11434" ``` 此配置确保容器启动时会请求分配可用的 GPU 设备给该进程使用。 #### 安装 NVIDIA Container Toolkit 对于基于 Linux 的系统来说，为了让 Docker 可识别并管理主机上的 GPU 资源，需要先安装 NVIDIA 提供的一套名为 NVIDIA Container Toolkit 的工具集。命令如下所示[^2]: ```bash sudo apt-get update && \ sudo apt-get install -y nvidia-container-toolkit && \ sudo systemctl restart docker ``` 上述指令更新了软件包列表，并安装了所需的 NVIDIA 组件用于容器化环境中调用 GPU；最后重启 Docker 服务使得更改生效。 #### 启动带有 GPU 支持的 Ollama 实例 一旦完成了前面提到的所有准备工作，则可以通过指定 `--gpus all` 参数来创建一个新的带 GPU 访问权限的 Ollama 容器实例: ```bash docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ``` 这条命令指定了所有的 GPU 将被当前运行中的容器所占用，并映射端口以及挂载数据卷到宿主机相应位置上。 #### 下载预训练模型 有了已经正确设置了 GPU 加速选项后的 Ollama 环境后，可以进一步加载想要使用的 AI 模型。例如下载 Qwen-7B 模型可执行下面这段 shell 命令: ```bash docker exec -it ollama ollama run qwen:7b ``` 这样就能够在拥有强大图形处理能力的支持下高效地测试和部署各种大型语言模型了。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值