告别GPU限制!DeepSeek-R1 大模型全平台部署教程

前言

为什么要离线部署,好处有: 1.数据安全,可以部署自己私有大模型,避免数据泄露。2.可以进行功能定制,实现更多自定义的功能。3.随时随地可用,无需联网。

之前给大家分享利用python代码来部署DeepSeek-R1模型: [【好强!在数学领域 1.5B参数超过GPT-4o!】Deepseek-R1开源啦!本文实战部署推理代码,效果着实惊艳!]由不少小伙伴反馈说python代码需要配置各种库环境比较麻烦,有没有傻瓜式的部署方式,有!

今天我将手把手带大家部署大模型(以DeepSeek R1大模型为例子),分别实操部署在linux端、windows端 、手机安卓端;下面进入今天的主题~

本文目录

  • linux端部署: DeepSeek-R1离线部署到电脑linux系统

  • ollama支持的显卡型号介绍

  • 第1步: 下载ollama

  • 第2步: 下载DeepSeek-R1大模型

  • 第3步: 运行DeepSeek-R1大模型进行推理聊天

  • windows系统部署: DeepSeek-R1离线部署到电脑windows系统

  • 第1步: 下载ollama.exe软件到本地进行安装

  • 第2步:修改ollama的路径和模型路径

  • 第3步:下载DeepSeek-R1模型

  • 第4步:运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

  • 安卓手机离线部署: DeepSeek-R1离线部署到安卓手机上

  • 第1步: 下载termux软件

  • 第2步: 配置ollama软件运行环境

  • 第3步:下载deepseek-R1模型

  • 第4步:运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

  • 参考链接

linux端部署: DeepSeek-R1离线部署到电脑linux系统

本文主要是使用ollama在linux端、windows端、安卓端分别实现离线部署大模型,以DeepSeek-R1大模型为例;也可以是其他大模型。如果你有显卡资源当然是最好的,可以对模型进行加速!

ollama支持的显卡型号介绍

A卡支持的型号汇总

目前ollama关于AMD显卡支持的型号如下:

N卡支持的型号汇总

cuda支持的显卡:Ollama 支持计算能力 5.0 及以上的 Nvidia GPU;如何查看自己的显卡对应的计算能力,可以查看nvidia的官网:https://developer.nvidia.com/cuda-gpus

第1步: 下载ollama

!sudo apt install pciutils  lshw -y   !curl -fsSL https://ollama.com/install.sh | sh # 执行该命令会自动安装ollama,会自动检查是否存在GPU资源。   !ollama -v   

安装完成后,输出对应的版本信息如下:

第2步: 下载DeepSeek-R1大模型

你可以下载其他任何大模型,这里以deepseek-ai/DeepSeek-R1-Distill-Qwen-7B模型为例子,详情见:https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.

!ollama serve & #开启ollama服务默认后台运行      !ollama pull deepseek-r1:7b #如何查找对应ollama模型名称, 查看网址:https://ollama.com/library/deepseek-r1:1.5b   !ollama list   

安装完成后,输出的效果如下:

查看 deepseek-r1:7b模型的信息:

第3步: 运行DeepSeek-R1大模型进行推理聊天

方式1: 在命令行中直接进行对话聊天
    # 直接在命令行中输入   ollama run deepseek-r1:7b    

就可以直接进行对话聊天啦

方式2: 通过openai库来进行调用DeepSeek-R1大模型进行推理聊天
!pip install openai   """   首先确保ollama serve命令已经启动,可以通过下面的命令验证   # 方式1:   !lsof -i -P -n | grep ollama   # 输出的结果如下:   ollama    452 root    3u  IPv4  49029      0t0  TCP 127.0.0.1:11434 (LISTEN)   ollama    452 root   17u  IPv4  54015      0t0  TCP 127.0.0.1:11434->127.0.0.1:56014 (ESTABLISHED)      # 方式2   !curl http://127.0.0.1:11434/   # Ollama is running   """   from openai import OpenAI    def ollama_deepseek_r1_infer(query):       client = OpenAI(           base_url = 'http://127.0.0.1:11434/v1', # 注意这块ollama serve 启动默认的地址和端口           api_key='ollama', # required, but unused       )       response = client.chat.completions.create(         model="deepseek-r1:7b",         messages=[            {"role": "user", "content": query}         ],         temperature=0.7,           top_p=0.8,           max_tokens=4096,           extra_body={               "repetition_penalty": 1.05,           },           stream=True  # 启用流式响应       )       # 逐块打印响应       for chunk in response:           if chunk.choices[0].delta.content:  # 检查是否有内容               print(chunk.choices[0].delta.content, end="", flush=True)   

执行的效果如下:

就可以尽情的玩耍啦!如果你有更多的内存和显卡资源,可以下载8B,32B等更大版本的模型~

windows系统部署: DeepSeek-R1离线部署到电脑windows系统

这里给大家介绍如何快速将 DeepSeek-R1大模型部署在windows系统中。

第1步: 下载ollama.exe软件到本地进行安装

进入https://ollama.com/download/windows页面,点击download进行下载,注意需要windows10及以上的系统;下载完成后,点击安装。注意这块软件默认安装是在C盘。下载的模型权重也在C盘。

第2步:修改ollama的路径和模型路径

为了长久使用ollama,需要将ollama路径移动到其他盘路径下; 步骤如下;

将默认安装C盘的ollama路径移动到其他盘中
  1. 找到已安装好ollama软件对应的路径,将其整体剪切复制到F:\ollama下面(你可以切换到其他盘)

添加环境变量 :

  • 右键点击“此电脑”或“我的电脑”,选择“属性”。

  • 进入“高级系统设置” -> “环境变量”。

  • 在“系统变量”部分,找到 Path,点击“编辑”。

  • 添加一个新的路径,指向 Ollama 的解压目录(例如 D:\Ollama)。

  • 点击“确定”保存更改。

修改ollama模型下载的路径

Ollama 默认会将模型文件存储在系统的用户目录下(例如 C:\Users<用户名>.ollama)。如果你希望修改模型存储路径,可以按照以下步骤操作:

  • 创建新的存储目录 :在目标磁盘上创建一个新的文件夹,例如 D:\Ollama\Models。

  • 设置环境变量 :

  1. 按照上述方法进入“环境变量”设置。

  2. 新建一个系统变量,名称为 OLLAMA_MODELS,值为你希望的模型存储路径(例如 D:\Ollama\Models)。

  3. 点击“确定”保存。

  4. 验证配置 :启动 Ollama 并加载模型时,检查新路径是否生效。这是我修改的位置:

第3步:下载DeepSeek-R1模型

你可以下载其他任何大模型,这里以deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B模型为例子,详情见:https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. 打开windows系统的cmd命令窗口;

拉取deepseek-r1:1.5b模型:

!ollama pull deepseek-r1:1.5b   !ollama list   

执行的效果如下:

第4步:运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

!ollama run deepseek-r1:1.5b --verbose   

在windows下执行的效果,可以看出1.5B的模型在我windows电脑上,每秒平均37个token.

到此就可以愉快的玩耍啦~

安卓手机离线部署: DeepSeek-R1离线部署到安卓手机上

这里我将给大家介绍如何将DeepSeek-R1大模型部署到安卓手机上,这里主要是利用termux+ollama来实现部署到安卓手机中。

第1步: 下载termux软件

访问https://github.com/termux/termux-app/releases/tag/v0.118.1页面,下载termux-app_v0.118.1+github-debug_arm64-v8a.apk;我这边是之前的旧手机Redmi Note 7pro;

第2步: 配置ollama软件运行环境

访问手机目录
# 在termux中访问手机的目录文件   termux-setup-storage   ls storage/downloads/   

在termux中执行的效果,这是我手机的Download下对应的文件

安装对应的运行环境
# 先来安装proot-distro   pkg install proot-distro      # 使用proot-distro安装一个ubuntu   proot-distro install ubuntu   # 安装成功后通过login命令就直接进入ubuntu,为发行版启动一个root shell   #proot-distro login ubuntu   proot-distro login ubuntu --bind "${HOME}/storage:/mnt/storage"   

执行完成后,可以看出其已经成功进入ubuntu虚拟环境中并具备root全智贤

安装ollama软件
curl -fsSL https://ollama.com/install.sh | sh      ollama  serve & #让ollama服务在后台运行   # 安装完毕可以查看ollama版本进行验证,出现版本号之后就可以使用ollama   ollama -v   

最后输出的效果:

第3步:下载deepseek-R1模型

你可以下载其他任何大模型,这里以deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B模型为例子,详情见:https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.拉取deepseek-r1:1.5b模型:

!ollama pull deepseek-r1:1.5b   !ollama list   

最后执行的效果如下:

第4步:运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

ollama run deepseek-r1:1.5b   

我的小米redmi note7pro手机的执行效果如下:

DeepSeek-R1大模型爆火,由于性能出众而倍受好评。但是也迎来一个不争的事实,当DeepSeek-R1有板有眼回答你的问题(例如通过列举错误的文献、数据、表格来佐证你的问题时),你是否能够一眼发现它是错误的呢?23年大模型刚出来的时候,大模型性能差,一顿乱说,你可以轻松知道模型幻觉严重。那现在呢?以后如何准确评估模型回答是否正确将是一件非常难、并且耗时的事情。

AI大模型学习路线

如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!

扫描下方csdn官方合作二维码获取哦!

在这里插入图片描述

这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!

请添加图片描述
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

请添加图片描述

大模型全套视频教程

请添加图片描述

200本大模型PDF书籍

请添加图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

LLM面试题合集

请添加图片描述

大模型产品经理资源合集

请添加图片描述

大模型项目实战合集

请添加图片描述

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值