【AI】零代码-A卡780M核显在Windows平台运行ollama跑端侧大模型

最新推荐文章于 2025-04-07 10:20:49 发布
最新推荐文章于 2025-04-07 10:20:49 发布
阅读量748 收藏 21
点赞数 27
分类专栏： AI 文章标签： windows ai 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z1574507001/article/details/145710512
版权

前言

不用敲代码不用打指令不用Linux不用虚拟机，就在Windows上，轻薄本的AMD核显也能跑端侧deepseek-R1。
先上效果图：（端侧deepseek-R1 8b用Java写冒泡排序）
效果图

本文面向Windows平台 win10/win11，只讲A卡的如何运行ollama，不教ollama基本用法
案例是7840HS的780M核显 代号是gfx1103，其他A卡步骤大同小异
如果你显卡跟我一样就无脑照抄即可，如果是其他A卡那就带着脑子抄

操作步骤

  1. 需要这个安装特别版的ollama，不要从ollama官网下载
    https://github.com/likelovewant/ollama-for-amd/

以0.5.9为例
https://github.com/likelovewant/ollama-for-amd/releases/tag/v0.5.9
下载OllamaSetup.exe，双击安装，然后右下角托盘右键退出

2.覆盖文件
下载ollama-windows-amd64.7z，解压
桌面ollama图标右键 -> 属性，打开文件所在位置，跳转到主程序目录，用压缩包里的ollama.exe替换原本的ollama主程序

最低0.47元/天 解锁文章
在个人 Linux 机器 (GPU/CPU) 上本地运行 LLaMA-3(Docker+Ollama+Open WebUI+LLama3教程含详细步骤)
iCloudEnd的博客
04-21 1万+
Ollama是一个强大的框架，专为大型语言模型的本地执行而设计。它提供了一种用户友好的方法来部署和管理人工智能模型，使用户能够直接从他们的机器运行各种预训练或自定义模型。Ollama 的多功能性突出在于其全面的模型库，范围从较小的 80 亿参数模型到大量的 700 亿参数版本，可满足不同的计算和应用需求。OLLAMA 优化的技术见解Ollama 采用了一系列优化来确保跨不同硬件设置的高效模型性能：硬件优化：利用 GPU 加速显着提高性能，在纯 CPU 配置上实现高达两倍的处理速度。
【AI学习指南】轻量级模型-用 Ollama 轻松玩转本地大模型
瑶山的博客
07-28 1709
根据 ChatGPT 的使用经验，系统提示词是很重要的。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。role为system的消息即为系统提示词。"content": "以同学的口吻简单作答。},"content": "你会游泳吗？],}'现在AI领域的进展日新月异，进步就像是从刀耕火种步入现代社会：就像是我上个月写了这篇文章，现在AI又踏上了新的征程。
AMD 8845HS 780M核显部署本地deepseek大模型的性能
02-10 4592
用笔记本电脑AMD 8845HS 带780M核显部署本地大模型
如何让deepseek R1大模型利用 AMD的核显，这里举例Win11下的 AMD的780M核显
liushilejimo的博客
02-26 881
Ollama本地大模型配置 AMD的核显
Ollama本地部署 Win11 intel arc 显卡GPU加速
lishiyu7的博客
12-20 8842
参考资料：https://test-bigdl-llm.readthedocs.io/en/main/doc/LLM/Quickstart/ollama_quickstart.html。安装 dpcpp-cpp-rt, mkl-dpcpp, 和 onednn 这些特定版本的包。搬运来源：https://zhuanlan.zhihu.com/p/694516502。4.创造llm-cpp环境 配置并运行IPEX-LLM for llama.cpp。新开一个anaconda窗口。
【ollama】（4）：在autodl中安装ollama工具，配置环境变量，修改端口，使用RTX 3080 Ti显卡，测试coder代码生成大模型
freewebsys的专栏
03-12 8142
Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。速度哦还是挺快的，经过一段时间的等待就可以服务启动成功了。
win10环境配置ollama-ui运行llama3模型
liangma的专栏
06-22 3413
ollama的安装及llama3中文模型的安装，以及ollama-ui和sddle项目的作用
在Windows电脑上快速运行AI大语言模型-Llama3
east4ming的博客
04-20 1955
近期 Meta 发布了最新的 Llama3 模型，并开源了开源代码。Meta Llama 3 现已推出 8B 和 70B 预训练和指令调整版本，可支持广泛的应用程序。并且 Llama 3 在语言细微差别、上下文理解和翻译和对话生成等复杂任务方面表现出色。我们可以在 Windows 上快速运行 Llama3 8B 模型。📝Notes郑重声明: 本文几乎没有任何原创内容, 主要资料都来自于网上, 笔者只是总结自己实际可以运行起来的详细步骤, 供各位读者参考.Llmafile。
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 5587
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
英特尔显卡+魔搭社区，一行命令快速部署本地大模型
英特尔开发人员专区
02-27 2147
近期，Intel和魔搭合作，在魔搭社区上线了Ollama 英特尔优化版镜像，该镜像提供基于 IPEX-LLM 的 Ollama 英特尔优化版，开发者可在英特尔GPU (如搭载集成显卡的个人电脑，Arc 独立显卡等) 上直接免安装运行 Ollam
AMD平台下DeepSeek部署所需关键软件及ROCm库下载链接汇总 给无法翻墙的同学们提供
02-07
内容概要：本文档提供了在AMD平台上本地部署DeepSeek所需的多个重要组件及其下载链接，特别针对无法访问国际网络（俗称'翻墙'）的需求做了准备。文中列出并介绍了安装ollama软件、Hip SDK以及各类适用于不同显卡版本（如GFX906, GFX1100等）的ROCm库文件的具体来源与获取途径，确保使用者可以快速而正确地完成整个部署流程。 适用人群：适用于所有计划在基于AMD架构系统上部署运行深度搜索应用程序的技术人员，尤其是那些因地理或其它原因无法顺利访问国外服务器资源的研究团队和个人。 使用场景及目标：主要用于帮助用户绕过外部网络限制，在国内环境中顺利获得相关开源项目和技术资料。此外也便于后续维护时能够迅速定位所需依赖项的位置，并简化了安装配置过程中对第三方网站查询的依赖性。 其他说明：请注意各个组件版本兼容性的确认，按照指南选择合适的GFX版本进行下载。由于部分内容存储于GitHub仓库，推荐使用提供的镜像或者离线压缩包来加快下载速度。部分特定版本的库还带有额外优化特性，可以根据实际硬件环境选用最合适的一个。对于有特殊定制化需求的用户，则提供了源码下载以支持进一步修改和完善。
在windows下使用本地AI模型提供翻译、对话、文生图服务
omnibots的博客
06-08 6274
OllamaOllluma全面兼容MacOS、Linux和Windows系统，它提供简洁的一键式本地模型部署流程，并将API功能统一转换至与OpenAI相匹配的标准格式，旨在为您带来无缝且高效的使用体验。Docker Desktop 是一个由 Docker Inc. 开发的桌面应用软件，用于在 Windows、macOS 和 Linux 操作系统上运行本地容器。它提供了一种简单且易于使用的界面来启动和管理 Docker 容器，并提供了对一些常用工具（如 Kubernetes）的支持。
快速体验Ollama安装部署并支持AMD ROCm推理加速
热门推荐
IT菜鸟
08-16 1万+
快速体验Ollama安装部署并支持AMD ROCm推理加速
Deepseek+Ollama+Ipex-llm使用Intel集成显卡提升大模型运行速度
m0_66312004的博客
02-09 5089
想学习deepseek，但是没有GPU显卡，笔记本是i7-12700h+Intel(R) Iris(R) Xe Graphics集成 显卡，看到网上有文章介绍Intel的ipex-llm环境可以调用集显，于是尝试了一下，效果不错，分享给大家。10.使用ollama加载deepseek-r1:1.5b(我做演示运行，实际运行7b、8b、14b、32b，内存和硬盘资源充足，可以试试70b)8.从新打开一个Anaconda Prompt终端窗口，并激活第第2布创建的conda环境，并进入第4步创建的文件目录。
Windows下AMD显卡在本地运行大语言模型(deepseek-r1)
wstc2689784536的博客
02-08 2440
Windows下AMD显卡在本地运行deepseek-r1:14b
基于Ollama Python的本地多模态大模型
sagima_sdu的博客
06-30 4233
我们需要一个函数来将 PIL 图像转换为 Base64 编码字符串。这对于将图像数据发送给模型是必要的步骤。# 将PIL图像转换为Base64编码字符串# 将图像转换为RGB模式该函数用于从指定路径加载图像，并将其转换为 Base64 编码字符串。# 从指定路径加载图像并转换为Base64编码字符串这个函数将图像和问题发送给 BakLLaVA 模型，并获取模型的回答。# 将图像和问题发送给Ollama的bakllava模型并获取回答])
AMD RX5700运行deepseek-r1教程
xiantao的专栏
02-06 1968
AI大模型对Nvidia支持较好，对AMD支持较差，通过Ollama for amd工具和Rocm替换，实现deepseek-r1在有AMD 5700显卡的电脑上进行部署。
ROCmLibs-for-gfx1103-AMD780M-APU安装与配置指南
最新发布
gitblog_00464的博客
04-07 937
ROCmLibs-for-gfx1103-AMD780M-APU安装与配置指南 ROCmLibs-for-gfx1103-AMD780M-APU ROCm Library Files for gfx1103 and update with others arches based on AMD GPUs for use...
为什么让ollama运行模型的时候一直在转圈卡住
03-20
<think>好的，用户问为什么让Ollama运行模型的时候一直在转圈卡住。首先，我需要回忆一下之前处理类似问题的经验。Ollama是一个用于本地运行大型语言模型的工具，用户可能在安装或运行时遇到了问题。常见的卡顿原因可能包括资源不足、模型未正确加载、配置错误或者依赖问题。 首先，用户可能没有足够的系统资源。比如，内存或显存不足会导致模型无法加载，从而卡在初始化阶段。我需要考虑用户是否满足模型运行的最低要求，比如RAM和VRAM的大小。例如，运行Llama 2可能需要至少8GB的RAM，而更大的模型可能需要更多。 其次，模型文件可能损坏或未完全下载。如果用户在下载模型时中断，或者文件损坏，Ollama在加载时会卡住。这时候需要建议用户检查模型文件的完整性，或者重新下载模型。 网络问题也可能导致卡顿，尤其是在下载模型或依赖时。虽然Ollama主要是本地运行，但初次使用时可能需要下载模型，如果网络连接不稳定，可能会导致进程挂起。需要让用户检查网络连接，或者尝试重新下载。 配置错误也是一个可能的原因。用户的Ollama配置文件中可能有错误的参数，比如错误的模型路径或内存分配设置。需要检查配置文件是否存在问题，或者建议用户重置配置。 另外，权限问题可能导致Ollama无法访问必要的文件或目录。例如，在Linux系统中，如果没有适当的权限，Ollama可能无法写入缓存或模型目录。需要指导用户检查文件和目录的权限设置。 还有可能是依赖项的问题。Ollama可能依赖于某些库或软件包，如果这些依赖项未正确安装或版本不兼容，会导致运行时卡住。例如，CUDA版本不匹配，或者缺少必要的运行时库。 查看日志文件是诊断问题的关键步骤。Ollama应该会生成日志，记录运行时的错误信息。需要引导用户找到日志文件的位置，并检查其中的错误信息，以便更精确地定位问题。 用户可能尝试过重启Ollama或电脑，但问题依旧存在。这时候需要考虑更深入的排查，比如查看系统资源监控，确认是否有其他进程占用过多资源，或者尝试以调试模式运行Ollama来获取更多信息。 还有一个可能性是模型与Ollama版本不兼容。如果用户更新了Ollama但未更新模型，或者反之，可能会导致兼容性问题。需要确认用户使用的Ollama版本和模型是否匹配。 最后，硬件加速的问题，比如是否启用了GPU支持，但驱动程序有问题，或者配置不正确，导致Ollama无法正确利用GPU资源，从而卡在初始化阶段。需要检查GPU驱动和相关的加速库是否安装正确。 综合以上可能的原因，我应该分步骤引导用户进行排查，从最可能的资源不足和模型问题开始，逐步排除其他可能性，并提供相应的解决建议。同时，强调查看日志的重要性，因为日志中的具体错误信息能更快地帮助定位问题。</think>### 一、核心原因分析 Ollama 运行模型时卡住（转圈）通常由 **资源瓶颈** 或 **配置异常** 导致，具体可能涉及以下方向： | 问题类型 | 典型表现 | 排查优先级 | |----------------|----------------------------|-----------| | 显存/内存不足 | 任务管理器中GPU内存占用100% | ★★★★★ | | 模型文件损坏 | 下载中断或文件哈希校验失败 | ★★★★☆ | | 网络代理干扰 | 出现`ConnectionTimeout`错误 | ★★★☆☆ | | 硬件加速配置错误 | CUDA/cuDNN版本不兼容 | ★★★★☆ | | 系统权限限制 | 日志中出现`Permission denied`| ★★★☆☆ | --- ### 二、分步排查指南 #### ▶ 第一步：检查硬件资源 1. **显存监控** ```bash # Linux查看显存占用 nvidia-smi -l 1 # 每秒刷新 # Windows通过任务管理器 → 性能 → GPU ``` 2. **内存阈值验证** - 运行模型所需内存公式： $$ \text{模型内存} \approx \frac{\text{参数量} \times 4\text{Bytes}}{1024^3} \text{GB} $$ - 例如：运行`llama2-7b`至少需要： $$ \frac{7 \times 10^9 \times 4}{1024^3} \approx 26.8\text{GB} $$ #### ▶ 第二步：验证模型完整性 1. **手动下载模型** ```bash # 检查官方模型库中的SHA256 curl https://ollama.ai/library/llama2/tags | grep sha256 # 对比本地文件 shasum -a 256 ~/.ollama/models/blobs/sha256-* ``` 2. **强制重新拉取** ```bash ollama rm llama2 # 删除损坏模型 OLLAMA_HOST=0.0.0.0 ollama pull llama2 # 绕过本地缓存 ``` #### ▶ 第三步：网络配置优化 1. **代理设置** ```bash # 明确设置代理（如果使用） export HTTP_PROXY=http://127.0.0.1:7890 export HTTPS_PROXY=http://127.0.0.1:7890 ``` 2. **端口检测** ```bash # 检查11434端口是否开放 nc -zv 127.0.0.1 11434 ``` #### ▶ 第四步：GPU加速验证 1. **CUDA环境检测** ```bash nvcc --version # CUDA编译器版本 nvidia-smi # 驱动版本 pip show llama-cpp-python | grep "cuda" # 确认GPU支持 ``` 2. **强制启用GPU** ```bash OLLAMA_GPU_LAYERS=35 ollama run llama2 # 根据显存调整层数 ``` --- ### 三、高级调试方案 #### ▶ 方案1：内存交换优化 ```bash # Linux设置交换空间（缓解内存不足） sudo fallocate -l 20G /swapfile sudo mkswap /swapfile sudo swapon /swapfile ``` #### ▶ 方案2：运行参数调优 ```bash # 限制线程数和批处理大小 OLLAMA_NUM_PARALLEL=2 OLLAMA_BATCH_SIZE=512 ollama serve ``` #### ▶ 方案3：底层库调试 ```bash # 使用gdb捕捉CUDA错误（需安装调试符号） gdb --args ollama run llama2 (gdb) catch throw (gdb) run ``` --- ### 四、关键日志分析 查看 `~/.ollama/logs/server.log` 中的关键字段： | 日志片段 | 问题指向 | |--------------------------|-----------------------| | `ERR CUDA out of memory` | 显存不足，需减少`GPU_LAYERS` | | `context deadline exceeded` | 模型下载超时，检查网络 | | `failed to load llm model` | 文件损坏，重新下载 | --- ### 五、硬件适配参考表 根据常见显卡给出配置建议： | 显卡型号 | 推荐模型尺寸 | 建议GPU_LAYERS | 所需VRAM | |------------|-------------|----------------|----------| | RTX 4090 | 70B | 40 | 24GB | | RTX 3090 | 13B | 35 | 12GB | | RTX 3060 | 7B | 30 | 8GB | --- ### 六、官方推荐操作 若仍无法解决，按以下格式提交诊断信息： ```bash # 生成完整调试包 ollama diag > ollama_diag.txt # 附加系统信息 uname -a >> ollama_diag.txt nvidia-smi >> ollama_diag.txt ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值