本地化部署DeepSeek-r1大模型教程

2025年1月以来国产大模型DeepSeek非常火,但由于访问人数过多经常频繁出现反应迟缓甚至是宕机的情况。

img

但万幸的是,DeepSeek是一个开源模型,我们可以通过本地部署在自己的终端上随时使用,而且部署到本地后无需联网即可直接使用。
1、安装ollama

如果想要在本地运行DeepSeek需要用到Ollama 这个工具,这是一个开源的本地大模型运行工具。

我们可以访问https://ollama.com/ 进入 Ollama官网下载 Ollama,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Windows 版本。

下载 Ollama

https://ollama.com/ ,下载对应平台。ollama help查看是否安装成功了。

C:\Users\Administrator>ollama help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

部署模型

下载模型:https://ollama.com/search ,选择 deepseek-r1,根据你的显存大小选择版本,16G 一般可以选择 14b/32b。

img

ollama run deepseek-r1:8b
pulling manifest 
pulling 6340dc3229b0... 100% ▕████████████████▏ 4.9 GB                         
pulling 369ca498f347... 100% ▕████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕████████████████▏  148 B                         
pulling 0cb05c6e4e02... 100% ▕████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 
>>> 你好,你是什么模型?

我是 DeepSeek-R1,一个由深度求索公司开发的智能助手,我擅长通过思考来帮您解答
复杂的数学,代码和逻辑推理等理工类问题。

>>> /bye

查看电脑所有模型:

ollama list
NAME              ID              SIZE      MODIFIED           
deepseek-r1:8b    28f8fd6cdc67    4.9 GB    About a minute ago 

进入模型对话:

ollama run deepseek-r1:8b

删除模式:

ollama rm deepseek-r1:8b

下载 Chatbox AI

每次对话都要打开终端工具,麻烦了点,下面介绍可视化的图文交互界面去使用它。

虽然我们可以在本地正常使用DeepSeek这个模型,但这个AI工具的面板比较简陋,很多人不习惯,这时我们就可以通过Chatbox这个可视化图文交互界面来使用它。

点击https://chatboxai.app/zh进入Chatbox官网,我们直接启动网页版。

img

进入Chatbox网页版本后点击使用自己的 API Key或本地模型。

img

为了能够ollama能远程链接,这里我们最好看看Chatbox提供的教程,根据这个教程操作。

这个教程还是非常简单的,如果是Windows操作系统则只需要配置环境变量即可,配置完环境变量后需重启ollama程序。

img

img

配置完就可以和 deepseek 进行对话啦。

img
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值