DeepSeek本地部署

 一.概述

DeepSeek是一款基于人工智能技术发展出来的新兴的工具,拥有强大的数据模型,并且支持本地部署,这可以满足数据隐私、定制化和高性能计算的需求,让用户能够在本地环境中高效安全的运行数据模型,不再担心数据泄露


二.环境准备

在开始部署之前,请检查本地环境是否满足以下要求:

1.硬件要求

  • CPU:至少 4 核(推荐Intel i5 以上或同等性能)
  • GPU:推荐NVIDIA GTX 1060 以上(显存 ≥ 4GB)
  • 内存:至少8GB(推荐≥16GB)
  • 存储:至少20GB可用空间(推荐≥100GB可用空间)

2.软件要求

  • 操作系统

        Window 10/11

        Linux(Ubuntu 18.04及以上)

        macOS(仅限CPU运行)

  • Python:3.8及以上版本
  • CUDA:如果使用GPU,需安装CUDA 10.2及以上版本
  • 依赖库

                PyThon

                Transformers

                DeepSeek SDK


三.部署步骤

1.下载并安装Ollama(本文将以Windows系统作为举例)

Ollama是一个免费开源的本地大语言模型的运行平台,可以借助Ollama把DeepSeek模型下载到本地并运行

Ollama下载链接:Ollama

接下来将手把手教会你安装Ollama

安装好了不要慌,我们先来验证一下是否成功安装

cmd输入ollama,如果出现以下图示,则已经成功安装

如果你和小编的一样,那表明你已经成功安装

2.安装本地语言模型

回到ollama,点击DeepSeek-R1

就可以进入到DeepSeek语言模型下载页

DeepSeek目前有1.5b、7b、8b、14b、32b、70b、671b这几种不用量级的开源语言模型(数字后面的b是billion的缩写,中文意思为十亿)

例如:1.5b代表了15亿的参数

参数量越大,你得到的回答质量也就越高,但是参数量的增大,对GPU的要求也就越高。如果电脑上没有独立显卡,就选择1.5b版本;如果有独立显卡,独立显卡显存在4G~8G,可以选择7b或8b的版本

小编的电脑使用的是8G的独立显存,下载的是8b语言模型,不推荐更高,因为在使用过程当中会存在卡顿情况

选择你需要的语言模型版本,复制相对应的命令粘贴到cmd命令行,粘贴并回车敲下回车以后,它就会自己自动开始安装本地语言模型,如果你和小编上面的这个图片一样,则表示已经成功安装本地语言模型

3.可视化交互平台安装(Cherry Studio安装)

虽然我们可以正常使用DeepSeek模型了,但是都是在cmd命令行里面完成的,如果想要找回官网对话式的感觉,那我们需要借助Cherry Studio实现

Cherry Studio下载链接:Cherry Studio 官方网站 - 全能的AI助手

接下来我们一起来安装Cherry Studio

由于太过火爆,这里推荐使用网盘下载下载完成后,文件夹里面有多个版本,可以选择所需要的版本进行安装,这里选择v1.0.0版本

目前支持Window、Linux、Mac OS三个操作系统上安装,选择自己使用的操作系统安装即可

安装完成以后,点击左下角设置,在模型服务中选择Ollama,把顶部的开关打开,然后点击下面的管理按钮在弹出的管理页面当中添加下载的DeepSeek语言模型

然后回到开始页面就可以和DeepSeek进行对话了

如果你安装了多个语言模型,可以点击顶部进行切换

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值