OLLAMA 运行模型时无法使用GPU

最新推荐文章于 2025-03-13 16:54:42 发布
最新推荐文章于 2025-03-13 16:54:42 发布
阅读量3.6k 收藏 6
点赞数 4
文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44923267/article/details/145614251
版权

1、启动时日志中显示的 Dynamic LLM libraries 是 runners=[cpu]，这表明 Ollama 没有利用 GPU

[root@test01 ~]# ollama serve
2025/02/13 15:20:46 routes.go:1187: INFO server config env="map[CUDA_VISIBLE_DEVICES:0 GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY:cuda OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:/root/.ollama/models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false ROCR_VISIBLE_DEVICES: http_proxy:http://10.25.102.200:3128 https_proxy:http://10.25.102.200:3128 no_proxy:]"
time=2025-02-13T15:20:46.140+08:00 level=INFO source=images.go:432 msg="total blobs: 31"
time=2025-02-13T15:20:46.141+08:00 level=INFO source=images.go:439 msg="total unused blobs removed: 0"
[GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already attached.

[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.

using env: export GIN_MODE=release
using code: gin.SetMode(gin.ReleaseMode)
[GIN-debug] POST /api/pull --> github.com/ollama/ollama/server.(*Server).PullHandler-fm (5 handlers)
[GIN-debug] POST /api/generate --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (5 handlers)
[GIN-debug] POST /api/chat --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (5 handlers)
[GIN-debug] POST /api/embed --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (5 handlers)
[GIN-debug] POST /api/embeddings --> github.com/ollama/ollama/server.(*Server).EmbeddingsHandler-fm (5 handlers)
[GIN-debug] POST /api/create --> github.com/ollama/ollama/server.(*Server).CreateHandler-fm (5 handlers)
[GIN-debug] POST /api/push --> github.com/ollama/ollama/server.(*Server).PushHandler-fm (5 handlers)
[GIN-debug] POST /api/copy --> github.com/ollama/ollama/server.(*Server).CopyHandler-fm (5 handlers)
[GIN-debug] DELETE /api/delete --> github.com/ollama/ollama/server.(*Server).DeleteHandler-fm (5 handlers)
[GIN-debug] POST /api/show --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (5 handlers)
[GIN-debug] POST /api/blobs/:digest --> github.com/ollama/ollama/server.(*Server).CreateBlobHandler-fm (5 handlers)
[GIN-debug] HEAD /api/blobs/:digest --> github.com/ollama/ollama/server.(*Server).HeadBlobHandler-fm (5 handlers)
[GIN-debug] GET /api/ps --> github.com/ollama/ollama/server.(*Server).PsHandler-fm (5 handlers)
[GIN-debug] POST /v1/chat/completions --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)
[GIN-debug] POST /v1/completions --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)
[GIN-debug] POST /v1/embeddings --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (6 handlers)
[GIN-debug] GET /v1/models --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (6 handlers)
[GIN-debug] GET /v1/models/:model --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (6 handlers)
[GIN-debug] GET / --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)
[GIN-debug] GET /api/tags --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
[GIN-debug] GET /api/version --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)
[GIN-debug] HEAD / --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)
[GIN-debug] HEAD /api/tags --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
[GIN-debug] HEAD /api/version --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)
time=2025-02-13T15:20:46.142+08:00 level=INFO source=routes.go:1238 msg="Listening on 127.0.0.1:11434 (version 0.5.7)"
time=2025-02-13T15:20:46.142+08:00 level=INFO source=routes.go:1267 msg="Dynamic LLM libraries" runners=[cpu]
time=2025-02-13T15:20:46.142+08:00 level=INFO source=gpu.go:226 msg="looking for compatible GPUs"

time=2025-02-13T15:20:47.373+08:00 level=INFO source=types.go:131 msg="inference compute" id=GPU-53bb8550-8677-3dce-f0fd-6c764a95b2ab library=cuda variant=v12 compute=6.1 driver=12.4 name="Tesla P4" total="7.4 GiB" available="7.3 GiB"

2、检查ollama的安装目录结构，ollama二进制文件和runners要保证以下结构：

        Binary：/xxx/yyy/bin/ollama
        Runners：/xxx/yyy/lib/ollama/runners/

        同时运行ollama时使用绝对路径 /xxx/yyy/bin/ollama serve而不是ollama serve

        正常运行后能加载到runners="[cpu cpu_avx cpu_avx2 cuda_v11_avx cuda_v12_avx rocm_avx]：

[root@test01 ~]# /usr/local/bin/ollama serve
2025/02/13 15:34:54 routes.go:1187: INFO server config env="map[CUDA_VISIBLE_DEVICES:0 GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY:cuda OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:/root/.ollama/models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false ROCR_VISIBLE_DEVICES: http_proxy:http://10.25.102.200:3128 https_proxy:http://10.25.102.200:3128 no_proxy:]"
time=2025-02-13T15:34:54.956+08:00 level=INFO source=images.go:432 msg="total blobs: 31"
time=2025-02-13T15:34:54.958+08:00 level=INFO source=images.go:439 msg="total unused blobs removed: 0"
[GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already attached.

[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.
 - using env:	export GIN_MODE=release
 - using code:	gin.SetMode(gin.ReleaseMode)

[GIN-debug] POST   /api/pull                 --> github.com/ollama/ollama/server.(*Server).PullHandler-fm (5 handlers)
[GIN-debug] POST   /api/generate             --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (5 handlers)
[GIN-debug] POST   /api/chat                 --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (5 handlers)
[GIN-debug] POST   /api/embed                --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (5 handlers)
[GIN-debug] POST   /api/embeddings           --> github.com/ollama/ollama/server.(*Server).EmbeddingsHandler-fm (5 handlers)
[GIN-debug] POST   /api/create               --> github.com/ollama/ollama/server.(*Server).CreateHandler-fm (5 handlers)
[GIN-debug] POST   /api/push                 --> github.com/ollama/ollama/server.(*Server).PushHandler-fm (5 handlers)
[GIN-debug] POST   /api/copy                 --> github.com/ollama/ollama/server.(*Server).CopyHandler-fm (5 handlers)
[GIN-debug] DELETE /api/delete               --> github.com/ollama/ollama/server.(*Server).DeleteHandler-fm (5 handlers)
[GIN-debug] POST   /api/show                 --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (5 handlers)
[GIN-debug] POST   /api/blobs/:digest        --> github.com/ollama/ollama/server.(*Server).CreateBlobHandler-fm (5 handlers)
[GIN-debug] HEAD   /api/blobs/:digest        --> github.com/ollama/ollama/server.(*Server).HeadBlobHandler-fm (5 handlers)
[GIN-debug] GET    /api/ps                   --> github.com/ollama/ollama/server.(*Server).PsHandler-fm (5 handlers)
[GIN-debug] POST   /v1/chat/completions      --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)
[GIN-debug] POST   /v1/completions           --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)
[GIN-debug] POST   /v1/embeddings            --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (6 handlers)
[GIN-debug] GET    /v1/models                --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (6 handlers)
[GIN-debug] GET    /v1/models/:model         --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (6 handlers)
[GIN-debug] GET    /                         --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)
[GIN-debug] GET    /api/tags                 --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
[GIN-debug] GET    /api/version              --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)
[GIN-debug] HEAD   /                         --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)
[GIN-debug] HEAD   /api/tags                 --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
[GIN-debug] HEAD   /api/version              --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)
time=2025-02-13T15:34:54.960+08:00 level=INFO source=routes.go:1238 msg="Listening on 127.0.0.1:11434 (version 0.5.7)"
time=2025-02-13T15:34:54.960+08:00 level=INFO source=routes.go:1267 msg="Dynamic LLM libraries" runners="[cpu cpu_avx cpu_avx2 cuda_v11_avx cuda_v12_avx rocm_avx]"
time=2025-02-13T15:34:54.960+08:00 level=INFO source=gpu.go:226 msg="looking for compatible GPUs"
time=2025-02-13T15:34:56.186+08:00 level=INFO source=types.go:131 msg="inference compute" id=GPU-53bb8550-8677-3dce-f0fd-6c764a95b2ab library=cuda variant=v12 compute=6.1 driver=12.4 name="Tesla P4" total="7.4 GiB" available="7.3 GiB"

isxiaokun
关注
关于自己部署AI大模型踩的坑（二）—— GPU篇
bugtraq的博客
08-13 3694
比如我现在使用的是Ollama部署大模型，而Ollama对于GPU的推荐使用计算能力要在6.0或以上，否则Ollama会自动回退到CPU模式，GPU将不会被使用。当然，如果你已经有GPU，并且算力支持，那恭喜你，可以开始下一步部署工作了；如果不支持，后期我也会写修改和编译Ollama源码，支持GPU的内容。这也是为什么在运算量如此之大，参数如此之多的大模型环境下，更需要GPU的原因了。尽量部署Ollama支持的GPU。如果您有不受支持的 AMD GPU，可以尝试使用下面列出的受支持类型。
部署Ollama过程中无法调用GPU的问题定位
u010714166的博客
02-25 1708
配置文件通常位于~/.ollama/config.yaml或/etc/ollama/config.yaml。检查cuDNN是否安装，通常cuDNN库文件位于/usr/local/cuda/include/cudnn.h。查看Ollama的日志文件，通常位于/var/log/ollama/ollama.log，检查是否有关于GPU的错误信息。根据上述步骤，如果发现任何问题，可以按照以下步骤进行修复： 安装或更新GPU驱动。如果CUDA或cuDNN未安装或需要更新，可以参考NVIDIA官方文档进行安装。
解决Ollama模型无法跑在GPU上问题
zhangjinlei2005的博客
02-12 4177
按照上面设置后，控制台使用Ollama ps 显示GPU是主要负载，但是任务管理器中看到的却是GPU没怎么跑，CPU占用很高。解决办法是：重装一下Ollama。或者在任务栏的Ollama图标上 右键点击Update即可自动重装并更新至新版本。使用14b模型推理时，为避免显存爆掉，系统会自动将一部分分给CPU运行。这里是6%CPU，94%GPU。使用8b模型推理时，GPU显存够用，所以是100% GPU。设置环境变量，让Ollama调用指定GPU。，即可查看GPU的UUID。ollamaLog路径。
DeepSeek本地部署：Ollama环境搭建与模型运行指南
02-03
内容概要：本文档详细介绍了 DeepSeek 的本地部署流程，涵盖从安装 Ollama 软件包到最终运行 DeepSeek 大规模预训练语言模型的所有操作。首先说明了获取正确安装程序的方法，并指导使用者依据硬件条件挑选合适的 DeepSeek 版本完成下载；接着对于想将整个环境隔离在虚拟容器内的用户推荐了 Docker 容器化平台安装流程，确保其正确安装及初次设置；为方便用户管理模型，进一步阐述了用于监控和服务暴露的Open WebUI 开源软件。最后提供了在本地启动 DeepSeek 服务的方式及其必要的参数配置。 适用人群：适用于拥有一定技术水平并且希望尝试本地运行大规模深度学习模型的研究人员或者开发者群体，尤其关注AI、机器学习领域的专业人士。 使用场景及目标：为研究或业务应用场景构建强大的AI助手，在安全可控环境中对先进的人工智能模型进行探索，提高工作效率或是科研成果的质量。 其他说明：由于涉及到多个外部站点以及可能存在的网络限制，请注意提前准备稳定的互联网连接。同时，在实际部署过程中，请参阅各个组件最新的官方指引以保证所有组件的最佳兼容性和性能表现。
【linux】Ollama 服务无法使用GPU的原因
最新发布
通往成功之路的一个过客
03-13 1263
使用ollama ps如果是docker安装则执行执行如下可以看到模型是只运行在CPU上。
Intel GPU 运行 ollama
11-24
Intel GPU 运行 ollama
【LINUX】OLLAMA服务无法使用GPU（已解决）
m0_48307012的博客
03-06 615
（LINUX）OLLAMA服务无法使用GPU~求救！
docker部署大模型ollama,无法使用GPU
Awesome_py的博客
11-26 5539
容器部署大模型,无法调用GPU
wsl中ollama不能使用gpu加速
SecularBird的专栏
04-20 2332
导致的原因可能是机器休眠过了， wsl的虚拟机不知道如何重连gpu修改正方法是重启wsl，之前还能有gpu加速的， 突然一次发现不能加速了, 启动之后发现只能用cpu了。
Ai学习之Ollama使用GPU运行模型的环境部署
热门推荐
qq_42869414的博客
01-06 3万+
本文将介绍Ollama使用GPU运行模型的环境部署
Ollama运行DeepSeek大模型调优指南：GPU与CPU协同实现性能最大化
qq_32358423的博客
02-26 1759
Ollama运行DeepSeek大模型调优指南
OLLAMA：如何像云端一样运行本地大语言模型
songgz的专栏
03-16 1万+
您是否曾发现自己被云端语言模型的网络所缠绕，渴望获得更本地化、更具成本效益的解决方案？那么，您的探索到此结束。欢迎来到 OLLAMA 的世界，这个平台将彻底改变我们与大型语言模型 (LLM) 的交互方式，让我们可以在本地运行这些模型。我们将深入探讨 OLLAMA 的复杂性，探索其功能、设置过程以及它如何改变你的项目。无论您是 Python 开发人员、网络开发爱好者，还是喜欢摆弄语言模型的人，本文都是您的一站式资源。OLLAMA 是一个尖端平台，旨在本地运行开源大型语言模型。
docker desktop使用ollama在GPU上运行deepseek r1大模型
yimenren的博客
01-28 1万+
注：也可以通过docker-compose.yaml配置文件拉取ollama，参考。我拉取的是14B，大家可以根据自己电脑配置选择不同版本大模型。四、在ollama容器中拉取deepseek r1模型。方式一：docker desktop界面启动。五、（可选）运行deepseek并调用GPU。二、拉取ollama镜像。一、安装docker。
Ollama部署攻略：调优技巧+最优配置=性能巅峰！
出发之前永远是梦想，上路之后永远是挑战。
02-18 9899
Ollama配置参数调优
悬案：windows，在docker里运行ollama，一直没成功（一直是CPU跑，调不起来GPU），现在又突然好了。
xiezhipu的博客
11-26 3899
这些报错，可以在logs这里看到（我这个展示的是没报错的情况，只是告诉大家，可以检查一下这个位置是不是跟我下面的图一样，还是说包含了上面的这个错误，如果是后者，就要当心了。因为最开始，我的ollama总是无法调起GPU，只能用CPU来跑。比较恐怖的是，这个错误，不仅会影响ollama的运行，任何跟pytorch有关的都会报错。也在网上找了很久的解决方案，中文的英文的，都找遍了，也没解决。重装后，问题莫名奇妙地被解决了。最后，我突发奇想，要不我重装docker吧！但这事儿，在我这儿也没那么顺利。
【Llama】无需GPU轻松本地部署大模型
python1234_的博客
01-20 2412
Ollama是一个开源的大型语言模型（LLM）服务工具，旨在简化在本地运行大语言模型的过程，降低使用门槛，使开发者、研究人员和爱好者能在本地快速实验、管理和部署最新大语言模型，如Qwen2、Llama3、Phi3、Gemma2等。它提供了一个简洁易用的命令行界面和服务器，让你能够轻松下载、运行和管理各种开源LLM。
使用 Ollama 和 Open WebUI 自托管 LLM 聊天机器人（无需 GPU）
lythinking的博客
06-08 3594
等，进一步支撑你的行动，以提升本文的帮助力。
ollama本地部署deepseek模型使用GPU运行
02-14
### 配置Ollama DeepSeek模型以利用GPU加速 #### 环境准备 对于最低配置，CPU需支持AVX2指令集，配备16GB内存以及至少30GB的存储空间；为了更佳性能体验，推荐使用NVIDIA GPU（如RTX 3090或以上型号），搭配32GB内存和不少于50GB的硬盘容量来满足项目需求[^1]。 操作系统方面兼容Windows、macOS或Linux平台，在这些平台上均能顺利开展工作。当计划采用Open Web UI作为界面交互方式时，则还需预先完成Docker环境搭建。 #### 安装与配置过程 确保已安装好上述提及的操作系统之一，并确认计算机硬件条件达到建议标准特别是具备合适的显卡设备之后： - **安装CUDA Toolkit**：由于要借助GPU实现运算速度提升，因此先访问[NVIDIA官方网站](https://developer.nvidia.com/cuda-downloads)，依据个人电脑的具体情况下载对应版本的CUDA驱动程序并按照指引完成整个流程。 - **获取cuDNN库文件**：接着前往相同网站寻找适用于所选CUDA版本号的[cuDNN资源包](https://developer.nvidia.com/rdp/cudnn-archive)，解压后将其内含有的bin/include/lib三个目录下的全部内容复制到相应位置下以便后续调用。 - **建立虚拟环境**：考虑到不同项目的特殊性可能会引起Python解释器及其附带模块间存在冲突问题，故而提倡创建独立于全局站点之外的新区域专门存放此次实验所需的各类组件。可以运用`conda create --name ollama_env python=3.8`这样的语句快速构建起名为ollama_env的基础框架结构(这里假设选用的是Python 3.8.x系列)。 ```bash conda activate ollama_env ``` - **安装PyTorch及其他依赖项**：激活刚才新建好的专属领域后紧接着执行如下命令行脚本从而引入必要的第三方扩展件集合体，其中特别指定了torchvision/torchaudio两个子项目同时也明确了希望获得针对特定图形处理器优化过的二进制发行版形式(py3.8_cu117代表基于Python 3.8编译而成且适配Compute Capability 8.0及以上等级CUDA核心架构的产品线)。 ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 ``` - **克隆仓库代码至本地机器上**：最后一步则是通过Git工具把官方维护着的目标源码同步过来供下一步操作之便。打开终端窗口输入下面给出的一串字符就能达成目的了。 ```bash git clone https://github.com/Ollama-Org/deepseek.git cd deepseek ``` 此时已经成功地将所有前置准备工作处理完毕，接下来就可以着手编写具体的应用逻辑部分啦！ #### 启动服务 进入刚刚拉取下来的deepseek文件夹内部，参照README.md文档中的指导说明调整参数设定直至符合预期效果为止。通常情况下只需简单修改几处地方即可开启测试模式查看实际表现状况如何: ```bash python setup.py develop export CUDA_VISIBLE_DEVICES=0 # 设定可见GPU编号, 若有多张可自行指定 python app/main.py --gpu-acceleration true ``` 这样就完成了从零开始一直到最终运行起来整个过程中涉及到的各项任务安排事项介绍。当然这只是最基础层面的内容概括而已，更多高级特性等待探索发现呢！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值