Ai学习之Ollama使用GPU运行模型的环境部署

已于 2025-02-21 16:46:28 修改
阅读量3.5w 收藏 138
点赞数 52
分类专栏： AI 文章标签： 人工智能 学习 深度学习
于 2025-01-06 17:15:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42869414/article/details/144966813
版权

本文将介绍Ollama使用GPU运行模型的环境部署

1.背景介绍

        对于像Llama 3 8B这样的小模型，使用CPU或集成显卡可以很好地工作。然而，如果您的计算机有Nvidia独立显卡，并且您希望运行更大的模型或实现更快的响应时间，您需要安装CUDA Toolkit以更好地利用独立显卡。

注意：使用GPU加速仅适用于具有计算能力5.0以上的Nvidia GPU。如果您使用的是AMD GPU，您可以查看支持的设备列表以确认您的显卡是否受Ollama支持。然而，CUDA Toolkit仅适用于Nvidia GPU，AMD GPU未深究。

GPU支持信息：ollama-doc/ollama/docs/Ollama 对GPU 支持信息.md at main · qianniucity/ollama-doc

Ollama支持的AMD GPU

系列 显卡和加速器
AMD Radeon RX 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 Vega 64 Vega 56
AMD Radeon PRO W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 V420 V340 V320 Vega II Duo Vega II VII SSG
AMD Instinct MI300X MI300A MI300 MI250X MI250 MI210 MI200 MI100 MI60 MI50

Nvidia GPU用户应检查您的计算能力以确认您的显卡是否受支持：CUDA GPUs - Compute Capability | NVIDIA Developer

计算能力

 系列 显卡
9.0 NVIDIA H100
8.9 GeForce RTX 40xx RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti SUPER RTX 4070 Ti RTX 4070 SUPER RTX 4070 RTX 4060 Ti RTX 4060
NVIDIA Professional L4 L40 RTX 6000
8.6 GeForce RTX 30xx RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060
NVI
最低0.47元/天 解锁文章
深度学习应用工程化中的节能减排最佳实践
shiter编写程序的艺术
01-03 283
一、制造业的能耗与排放现状制造业作为经济的支柱产业，对资源的消耗和环境的污染影响巨大。传统制造业以高能耗、高排放为特点，给环境带来了严重影响。随着全球气候变暖问题日益严重，节能减排技术在各个产业领域中的应用变得愈发重要。制造业在能源消耗和碳排放方面占据重要地位，因此推动制造业实施节能减排技术已经成为当前发展的必然选择。中国制造业的能源消耗量占全国总能耗的比重超过60%。其中，钢铁、有色金属、化工等行业的能耗尤为突出。碳排放量高：制造业也是碳排放的主要来源之一。
在个人 Linux 机器 (GPU/CPU) 上本地运行 LLaMA-3(Docker+Ollama+Open WebUI+LLama3教程含详细步骤)
iCloudEnd的博客
04-21 1万+
Ollama是一个强大的框架，专为大型语言模型的本地执行而设计。它提供了一种用户友好的方法来部署和管理人工智能模型，使用户能够直接从他们的机器运行各种预训练或自定义模型。Ollama 的多功能性突出在于其全面的模型库，范围从较小的 80 亿参数模型到大量的 700 亿参数版本，可满足不同的计算和应用需求。OLLAMA 优化的技术见解Ollama 采用了一系列优化来确保跨不同硬件设置的高效模型性能：硬件优化：利用 GPU 加速显着提高性能，在纯 CPU 配置上实现高达两倍的处理速度。
ollama 指定GPU运行
未觉池塘春草梦，阶前梧叶已秋声
02-13 2502
对于本地部署的deepseek，如果想要指定在某张或者某几张卡上执行的话。
Ollama系列---【ollama使用gpu运行大模型】
-少年-的博客
02-09 4989
一、安装CudaToolkit 使用控制台命令查看当前显卡驱动中的cuda版本 nvidia-smi 二、下载CudaToolkit 注意：CudaToolkit版本要低于上面的显卡Cuda版本。 Cuda各版本下载地址：https://developer.nvidia.com/cuda-toolkit-archive 下载好之后，一路下一步，一直默认即可。 如果安装到了自定义的位置，记得加环...
配置 Ollama 使用 GPU 加速模型推理
学亮编程手记
02-22 1万+
注：实际性能受模型量化方式（q4_0/q5_K_M）影响显著。
使用gpu用windows版本的ollama
qq_38265411的博客
02-21 1659
开启对NVIDIA GPU的支持，通过PowerShell执行相关命令来安装Ubuntu子系统、更新包列表并安装nvidia-container-toolkit工具集。新建系统变量，变量名为OLLAMA_GPU_LAYER，变量值为cuda（对于NVIDIA GPU）或directml（对于AMD/Intel GPU）。（可选）如果有多个GPU，可以通过设置CUDA_VISIBLE_DEVICES环境变量来指定使用哪个GPU。右键点击开始菜单，选择“系统”，然后点击“高级系统设置”，再点击“环境变量”。
【快捷部署】018_Ollama（GPU版）
luckcxy的专栏
04-15 7745
16期介绍的仅CPU的快捷部署，本文介绍带有GPU的云服务器快捷部署。
一文教你在windows上实现ollama+open webui、外网访问本地模型、ollama使用GPU加速
热门推荐
qq_28413709的博客
04-26 3万+
ollama工具的出现让大语言模型的部署变得格外的轻松，但是在windows系统部署之后发现无法使用GPU进行加速，通过多方面查找资料发现可以在docker中使用命令启用GPU加速。另外通过Docker也可以快速部署open webui,于是本文基于docker实现ollama模型的部署，以及webui部署。最终部署成功后可以实现公网访问本地大语言模型功能。
配置Ollama优先使用GPU进行计算的完整步骤
学亮编程手记
02-13 9764
根据需要，调整Ollama使用的GPU资源，如显存分配或指定特定GPU。确保系统已安装GPU驱动和CUDA工具包，并验证CUDA是否正常工作。如果Ollama支持配置文件，可以在其中指定使用GPU。Ollama可能提供支持GPU的版本，需确保安装的是该版本。在运行Ollama前，设置环境变量以启用GPU支持。通过环境变量或配置文件指定Ollama使用GPU。运行Ollama后，检查日志或使用。命令确认GPU是否被调用。查看GPU使用情况。
1panel面板使用GPU启动ollama
Hbb123654的博客
06-18 2900
其中/opt/1panel/apps/ollama为自己得安装路径。5、已GPU运行ollama得docker命令。6、运行模型查看是否在GPU运行。1、暂停ollama容器。2、删除ollama镜像。
DeepSeek本地部署：Ollama环境搭建与模型运行指南
02-03
使用场景及目标：为研究或业务应用场景构建强大的AI助手，在安全可控环境中对先进的人工智能模型进行探索，提高工作效率或是科研成果的质量。 其他说明：由于涉及到多个外部站点以及可能存在的网络限制，请注意提前...
Ollama运行DeepSeek大模型调优指南：GPU与CPU协同实现性能最大化
qq_32358423的博客
02-26 1956
Ollama运行DeepSeek大模型调优指南
【AI】在docker中部署ollama体验AI模型
随缘观
03-01 2万+
在docker中部署ollama体验AI模型。
五分钟使用ollama部署本地大模型
最新发布
zwl2220943286的博客
04-07 963
五分钟使用ollama安装部署本地大模型
设置Ollama模型跑在GPU上
更多内容查看博客描述。
02-11 1613
Ollama 对GPU 支持信息: https://github.com/qianniucity/ollama-doc/blob/main/ollama/docs/Ollama%20%E5%AF%B9GPU%20%E6%94%AF%E6%8C%81%E4%BF%A1%E6%81%AF.md。按照上面设置后，控制台使用Ollama ps 显示GPU是主要负载，但是任务管理器中看到的却是GPU没怎么跑，CPU占用很高。是 NVIDIA 提供的用于监控 GPU 状态的工具，也可以用来检查 CUDA 的版本。
ollama运行怎么使用8张A10的GPU卡
keyboard专栏
01-14 1万+
如果你需要进行多 GPU 加速（例如数据并行），需要确保 Ollama 和你的模型支持分布式计算。如果 Ollama 本身没有直接支持多 GPU，你可能需要自行调整代码或配置文件来启用该功能。如果问题仍然存在，可能需要查阅 Ollama 的文档，确认它是否支持多 GPU 并行计算，或对性能进行进一步的优化。来监控每张卡的使用情况。如果只看到一个 GPU 在工作，可能是配置不正确，或者模型没有正确地并行化到多个 GPU。如果你想指定使用特定的 GPU，可以通过设置。，它应该会自动识别并使用你指定的 GPU。
在Linux上如何让ollama在GPU上运行模型
ZhongUncle的博客
01-18 1万+
之前一直在Mac上使用ollama所以没注意，最近在Ubuntu上运行发现一直在CPU上跑。我一开始以为是超显存了，因为Mac上如果超内存的话，那么就只用CPU，但是我发现Llama3.23B只占用3GB，这远没有超。看了一下命令没发现有相关的选项。所以我查了一下。运气很好，找到了一篇博客写了可以强制在GPU上的方法：用容器跑。我也不知道为什么用容器就在GPU上跑了，官方也没有相关说明。
ollama调用GPU加速模型运行测试
02-21 2902
在个人计算机上成功安装PDFMathTranslate工具，通过ollama调用本地模型qwen2.5:7b，测试翻译1个8page的科技论文，需要耗时40多分钟，工具虽可用，但十分缓慢，使用效果差。通过ollama PS查看工具运行过程发现，CPU使用率100%，未激活本机GPU。。
ollama 使用gpu配置
03-24
<think>好的，用户现在问的是如何在Ollama中配置GPU使用。首先，我需要回顾之前的对话历史，用户之前询问了在Ubuntu 24.04上安装Quadro P400的驱动，现在可能已经成功安装好了驱动，现在想进一步利用GPU来运行Ollama的大模型。 首先，我需要确认Ollama支持GPU加速，这通常依赖于CUDA或者NVIDIA的驱动。用户已经安装了NVIDIA驱动，所以下一步可能需要安装CUDA工具包。但根据之前的回答，用户可能已经安装了nvidia-cuda-toolkit，但需要确认是否安装正确。 然后，我需要考虑Ollama的具体配置步骤。Ollama的官方文档可能提到需要特定的环境变量或者启动参数来启用GPU支持。例如，可能需要设置OLLAMA_GPU_LAYERS或者其他相关变量。 另外，用户可能使用的是Linux系统，所以需要注意权限问题，比如Docker用户可能需要将用户添加到渲染组，或者赋予某些权限。同时，检查Ollama的日志文件可以帮助诊断问题，比如是否有CUDA相关的错误，或者驱动版本不兼容的问题。 用户可能会遇到常见问题，比如安装后Ollama没有检测到GPU，或者运行模型时依然使用CPU。这时候需要逐步排查：首先确认nvidia-smi能够正确显示GPU状态，然后检查CUDA是否安装正确，再查看Ollama的配置是否正确启用了GPU支持。 此外，可能还需要考虑模型是否支持GPU加速，某些模型可能需要特定的配置参数才能在GPU上运行。例如，在运行ollama run命令时可能需要添加--gpu参数，或者模型本身需要设置GPU层数。 最后，需要提醒用户如果遇到问题，可以提供日志或错误信息以便进一步帮助解决。同时，建议用户参考Ollama的官方文档，因为不同版本可能有不同的配置方法。</think>在Ubuntu系统中配置Ollama使用GPU需要结合NVIDIA驱动和CUDA工具包。以下是具体步骤： --- ### **1. 前置条件** - **已安装NVIDIA显卡驱动** 验证驱动是否正常： ```bash nvidia-smi # 输出应包含GPU型号（如Quadro P400）和CUDA版本 ``` 若未安装驱动，参考[Ubuntu安装NVIDIA驱动指南](https://example.com)（替换实际链接）。 - **安装CUDA Toolkit**（推荐11.8+） ```bash wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/3bf863cc.pub sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/ /" sudo apt update sudo apt install cuda-toolkit-12-3 # 根据CUDA版本调整 ``` --- ### **2. 安装Ollama** - **官方脚本安装** ```bash curl -fsSL https://ollama.ai/install.sh | sh ``` - **验证安装** ```bash systemctl status ollama # 检查服务是否运行 ``` --- ### **3. 配置Ollama使用GPU** #### **方法1：启动时指定GPU参数** ```bash OLLAMA_GPU_LAYERS=9999 ollama run llama3 # 强制使用GPU（数值表示GPU加速层数） ``` #### **方法2：修改配置文件** 1. 编辑Ollama配置文件（路径：`/etc/systemd/system/ollama.service`）： ```bash sudo nano /etc/systemd/system/ollama.service ``` 2. 在`[Service]`部分添加环境变量： ```plaintext Environment="OLLAMA_GPU_LAYERS=9999" Environment="OLLAMA_KEEP_ALIVE=5m" ``` 3. 重启服务生效： ```bash sudo systemctl daemon-reload sudo systemctl restart ollama ``` --- ### **4. 验证GPU使用** - **查看日志确认GPU加载** ```bash journalctl -u ollama -f # 观察日志中是否出现"CUDA-capable GPU detected" ``` - **测试模型推理速度** ```bash ollama run llama3 "写一段量子力学简介" # 观察响应速度提升 ``` - **监控GPU占用** ```bash watch -n 1 nvidia-smi # 新终端运行，查看GPU显存和计算负载 ``` --- ### **5. 常见问题** #### **问题1：Ollama未检测到GPU** - **可能原因**： - CUDA未正确安装 - Ollama版本过低（需≥0.1.25） - 权限不足（Docker环境常见） - **解决方案**： ```bash # 检查CUDA版本 nvcc --version # 升级Ollama curl -fsSL https://ollama.ai/install.sh | sh # Docker用户需添加权限 docker run -it --gpus all ollama/ollama ``` #### **问题2：显存不足（OOM）** - **调整GPU加速层数**： ```bash OLLAMA_GPU_LAYERS=20 ollama run llama3 # 数值越小显存占用越低 ``` --- ### **6. 高级配置** - **多GPU分配** 指定使用特定GPU（如仅用第二块GPU）： ```bash export CUDA_VISIBLE_DEVICES=1 ollama run llama3 ``` - **量化模型优化** 使用4-bit量化模型减少显存占用： ```bash ollama run llama3:4bit ``` --- ### **总结** Ollama的GPU加速依赖CUDA环境和正确配置。关键参数`OLLAMA_GPU_LAYERS`控制GPU加速层数，需根据模型大小和显存容量调整。若遇到问题，优先检查CUDA版本兼容性及显存占用情况。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值