Deepseek+Ollama+Ipex-llm使用Intel集成显卡提升大模型运行速度

最新推荐文章于 2025-03-21 09:57:51 发布

m0_66312004

最新推荐文章于 2025-03-21 09:57:51 发布

阅读量4.9k

点赞数 9

文章标签： python deepseek ollama gpu加速大模型普通pc部署deepseek

本文链接：https://blog.csdn.net/m0_66312004/article/details/145536226

版权

想学习deepseek，但是没有GPU显卡，笔记本是i7-12700h+Intel(R) Iris(R) Xe Graphics集成显卡，看到网上有文章介绍Intel的ipex-llm环境可以调用集显，于是尝试了一下，效果不错，分享给大家。

一、环境要求

操作系统：Windows11
硬件：i7-12700h+Intel(R) Iris(R) Xe Graphics（其他型号也可以）
软件：Anaconda或Miniconda（请从Anaconda官网下载并安装）

二、软件安装

创建一个新的Conda环境（名称随便）：（要从Anaconda Prompt已管理员身份进入）
```
conda create -n ollama python=3.11
```
激活Ollama环境：
```
conda activate ollama
```

3.安装IPEX-LLM库：

pip install --pre --upgrade ipex-llm[cpp]

4. 创建一个ollama运行目录（名称随便）

mkdir ollama-demo

cd ollama-demo

5. 使用init-llama创建ollama环境（重要）

init-ollama

6.设置ollama运行的环境变量

set OLLAMA_NUM_GPU=999
set no_proxy=localhost,127.0.0.1
set ZES_ENABLE_SYSMAN=1
set SYCL_CACHE_PERSISTENT=1
set SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1

7.运行ollama （不要关闭这个终端）

ollama serve

8.从新打开一个Anaconda Prompt终端窗口，并激活第第2布创建的conda环境，并进入第4步创建的文件目录。

conda activate ollama

cd ollama-demo

9.使用ollama运行deepseek模型

conda activate ollama

cd ollama-demo

10.使用ollama加载deepseek-r1:1.5b(我做演示运行，实际运行7b、8b、14b、32b，内存和硬盘资源充足，可以试试70b)

ollama run deepseek-r1:1.5b

尝试让deepseek写一篇文章，同时观察gpu使用率