如何在24G显存机器上搭建一个超过gpt效果的DeepSeek-R1？

最新推荐文章于 2025-05-12 20:09:11 发布
最新推荐文章于 2025-05-12 20:09:11 发布
阅读量958 收藏 9
点赞数 16
文章标签： gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leader_song/article/details/147755997
版权

DeepSeek-R1蒸馏模型概述与应用指南

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/5af5a8b13de14bd1a95837bbf1ccaf2a.png#pic_center)

引言

DeepSeek-R1作为一款先进的AI推理模型，在性能上已超越GPT-4o和Claude-3.5等主流开源模型。为满足更广泛应用需求，推出了基于不同架构的精简版模型，旨在提供高性能同时兼顾计算效率。

模型架构与变体

本系列提供以下六种精简版模型：
Qwen架构系列
+ DeepSeek-R1-Distill-Qwen-1.5B + DeepSeek-R1-Distill-Qwen-7B + DeepSeek-R1-Distill-Qwen-14B + DeepSeek-R1-Distill-Qwen-32B
Llama架构系列
+ DeepSeek-R1-Distill-Llama-8B + DeepSeek-R1-Distill-Llama-70B

性能概览

各精简模型在关键基准测试中表现优异：

模型优势

1. ** 高效性** ：精简设计，计算效率显著提升。 2. ** 强推理能力** ：继承自DeepSeek-R1的核心算法。 3. ** 开源开放** ：方便开发者自由使用和扩展。

与其他模型对比

与同类强化学习训练模型相比，我们的蒸馏方法：
  • 计算成本更低
  • 性能表现更优

例如，DeepSeek-R1-Distill-Qwen-32B精简版在AIME测试中优于同规模的强化学习版本。

使用指南

方法一：Ollama平台部署
```plain ollama run deepseek-r1:32b ```
方法二：vLLM框架运行
```css vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \

–tensor-parallel-size 2 \

–max-model-len 32768 \

–enforce-eager


<h3 id="4c7c805c"><font style="color:rgb(51, 51, 51);">模型显卡配置表</font></h3>
![](https://i-blog.csdnimg.cn/img_convert/ad1071c7dceef494a902054efccd638d.webp?x-oss-process=image/format,png)
基于 DeepSeek-R1 模型微调（SFT）技术详解
zhangjiaofa的专栏
02-06 2496
本文的主要目的是详细介绍基于 deepseek-ai/DeepSeek-R1 模型的微调（SFT）技术。DeepSeek-R1 是一款具有强大性能和潜力的预训练语言模型，通过对其进行微调，我们可以将其应用于更广泛的实际场景中。在接下来的章节中，我们将首先介绍 DeepSeek-R1 模型的基础信息，包括其架构、预训练数据和特点。然后，深入探讨微调（SFT）的基础概念和技术原理，包括损失函数设计、梯度计算和优化器选择等。接着，详细阐述数据准备、微调环境搭建、微调过程实现以及模型评估等步骤。
【LLM】基于 Ollama 本地部署 DeepSeek-R1 大模型
qq_40205510的博客
04-30 1339
通过 Docker Compose 整合 Ollama 和 Open WebUI，可快速搭建支持 GPU 加速的本地大模型环境。无论是 Linux 还是 Windows，均能通过标准化配置实现高效部署。未来可进一步接入One-API实现多模型统一管理，或结合 Nginx 提升服务安全性。
本地部署DeepSeek-R1模型（新手保姆教程）
weixin_46277779的博客
02-03 3万+
本地部署deepseek-r1模型调用，新手保姆教程，无需代理
一文速览DeepSeek-R1的本地部署——可联网、可实现本地知识库问答：包括671B满血版和各个蒸馏版的部署(含单卡4090部署671B)
热门推荐
结构之法 算法之道
02-03 6万+
自从deepseek爆火以后，真是应了“人红是非多”那句话，不但遭受各种大规模攻击，即便后来挡住了大部分攻击，但海内外大量闯入deepseek官网一探究竟的网友也把他们的服务器压得不堪重负导致一提问，要么频繁显示：服务器繁忙，请稍后再试，要么回答了 但无法联网，致使我朋友圈内一些不知情的朋友说：看把媒体给能的，各种瞎吹，但其实不过尔尔..怎么办呢？在huggingface上总共有以下几种参数的deepseek R1首先，看推理框架，目前主流的大模型推理框架主要有以下四种：其次，看硬件要求，很显然，不同参数的
Ubuntu系统3分钟本地部署DeepSeek-R1蒸馏模型，支持联网
Blockbuster_drug
02-20 989
DeepSeek-R1蒸馏模型的3步快速无痛安装与体验，Ubuntu + ollama + Page Assist，支持联网，支持API。
vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案
小毕超博客
03-07 2779
vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成 HuggingFace、Modelscope 上的模型。Open WebUI是一个开源的、可扩展的、功能丰富的自托管AI平台，旨在完全离线运行。它主要设计用于与大型语言模型（LLMs）进行交互，支持多种模型和API，提供了直观的图形用户界面，使得用户可以更方便地管理和运行模型。通过 vLLM+Open WebUI快速部署DeepSeek-R1-Distill-Qwen-14B模型。
如何在本地运行“满血版”DeepSeek-R1？
大模型研究中心
04-11 1872
春节假期刚过，相信不少小伙伴已经收到了全面拥抱 DeepSeek 的指令。然而，具体要部署哪个模型？默认自然是 DeepSeek-R1。如果只是运行蒸馏版本的 R1，操作并不复杂，只要显存足够，一般不会有太大问题。但如果要运行全参数版本的 R1，所需的硬件配置可就不容小觑了。。⚠️ 本文只讨论，不涉及部署步骤和并发优化。从以上表格可以看出，想要本地跑，最便捷的方案是，而更大规模的分布式部署则需要甚至更多 GPU 资源。
DeepSeek-R1本地部署实践
造梦先森Kai的专栏
02-02 6332
Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。
DeepSeek-R1 14b本地部署实战：系统概述与性能分析！
2401_84494441的博客
04-23 899
这篇文章测试14b模型，快速引导你完成在本地运行DeepSeek模型的安装过程，并分享一个在笔记本电脑上的性能测试供你参考。让我们开始吧。安装步骤下载Ollama：https://ollama.com/（可选）安装后，如果你想更改默认的Ollama模型目录，可以打开终端/命令提示符来进行更改。在这里，我将默认目录更改为E盘，考虑到存储问题。大型语言模型（LLM）会快速消耗大量空间，可能会占满你的C盘。为避免这种情况，我建议合理分区并尽量将大文件存放在C盘之外。
4个步骤，轻松在本地部署DeepSeek-R1大模型（保姆级教程）
2301_81888214的博客
03-10 1065
DeepSeek 太火了。火到直接出天际了，火到最近不但海量的涌入使用，更招致黑客的攻击。
一文速览DeepSeek-R1的本地部署——可联网、可实现本地知识库问答（附教程）
2401_82469710的博客
03-11 1217
爆火以后便应了“人红是非多”那句话，不但遭受各种大规模攻击，即便后来挡住了大部分攻击，但海内外大量闯入deepseek官网一探究竟的网友也把他们的服务器压得不堪重负
深入理解 DeepSeek 与企业实践（三）：671B 超低成本部署方法与效果评测
ZStack_io的博客
02-17 1889
最低成本部署DeepSeek-R1 671B 这一近万亿参数级大模型、量化版本的实际表现如何、量化版本相比未量化版本损失有多少、不同硬件配置的综合性价比和适合场景
【架构解析】深入浅析DeepSeek-V3的技术架构
m0_74824865的博客
02-07 1384
模型层数：61 层隐藏层维度：7168前馈网络维度：18432注意力头数：128词汇表大小：129280最大位置嵌入：163840该模型通过精细的架构设计，实现了在计算效率和性能上的平衡。高性能表现：在编程、数学等任务上取得领先成绩，展现出卓越的智商水平。低成本高效能：以较低的训练成本，实现了与大型闭源模型相当的性能。技术创新：在 FP8 混合精度训练、MLA、无辅助损失负载均衡等方面取得突破。支持超长上下文：通过 YaRN 方法，模型能够处理超长文本，拓展了应用场景。开源共享。
【DeepSeek】DeepSeek-V3 高效训练关键技术分析
风一样
02-11 1133
DeepSeek-V3 的训练由 HAI-LLM 框架（DeepSeek 自研训练框架）支持，采用了。
mac一键安装gpt-sovit教程中，homebrew卡住不动的问题
fanstering的博客
05-12 229
本文介绍了在Mac上安装GPT-Sovit的步骤，并特别针对安装过程中可能遇到的Homebrew卡住问题提供了解决方案。首先，用户需从指定资源地址下载一键安装包，解压后通过终端执行安装脚本。在安装过程中，若遇到Homebrew卡住的情况，可参考提供的链接教程，通过添加镜像源来加速安装过程，确保顺利完成安装。
DocsGPT 远程命令执行漏洞复现（CVE-2025-0868）
最新发布
iSee857的博客
05-12 336
DocsGPT是一款基于大语言模型的开源文档智能问答工具，通过整合GPT系列模型（如GPT-3.5、Falcon和Llama2优化版本）Meta的Faiss相似性搜索库及LangChain框架，支持用户以自然语言对话形式快速查询TXT/PDF/MD/RST/ZIP等多格式文档内容。该系统提供网页端、本地化部署和Chrome插件三种使用方式，允许企业私有化部署知识库并实现离线问答服务，尤其适用于技术文档管理、智能客服等场景，其开源特性还支持用户自定义模型和提示词模板以增强安全性与灵活性。
图解gpt之Seq2Seq架构与序列到序列模型
zhaojiew的学习笔记
05-09 1149
我们开始构建神经网络模型了。import torch.nn as nn # 导入 torch.nn 库# 定义编码器类，继承自 nn.Moduleself.hidden_size = hidden_size # 设置隐藏层大小self.embedding = nn.Embedding(input_size, hidden_size) # 创建词嵌入层self.rnn = nn.RNN(hidden_size, hidden_size, batch_first=True) # 创建 RNN 层。
【GPT入门】第38课 RAG评估指标概述
spark_dev的博客
05-11 274
本文介绍了RAG（Retrieval-Augmented Generation）评估的相关指标，重点探讨了ragas和trulens两个评估工具。ragas是一个开源工具，从文本生成和文本召回两个维度进行分析，评估的指标包括准确性和相关性。准确性主要考察生成内容与检索结果是否准确回答了问题，而相关性则衡量生成内容和检索结果与问题的匹配程度。trulens则是另一个评估工具，提供了对RAG系统的全面评估。通过这些工具，可以更好地衡量和优化RAG系统的性能，确保其生成的内容既准确又相关。
图解gpt之神经概率语言模型与循环神经网络
zhaojiew的学习笔记
05-09 1113
上节课我们聊了词向量表示，像Word2Vec这样的模型，它确实能捕捉到词语之间的语义关系，但问题在于，它本质上还是在孤立地看待每个词。英文的“Apple”，可以指苹果公司，也可以指水果。这种一词多义的特性，以及词语在上下文中的微妙变化，Word2Vec这种固定向量的表示方式就捉襟见肘了。而且，它还不能处理新词，一旦遇到词表里没有的词，就束手无策。所以，尽管有了词向量，NLP领域在很长一段时间内，也就是所谓的深度学习元年之前，其实并没有迎来真正的突破。
如何使用deepseek搭建本地个人知识库
02-26
<think>好的，用户之前问过关于个人知识库的介绍，现在他想知道如何使用DeepSeek搭建本地个人知识库。我需要先理解DeepSeek是什么。根据我的知识库，DeepSeek是一家中国的公司，专注于让AGI成为现实，可能提供相关的工具或服务。不过用户可能指的是他们的某个具体产品，比如可能的大模型或者知识库管理工具。 首先，我需要确认用户提到的“DeepSeek”具体指什么。如果是他们的大模型，可能用户想用该模型来处理本地知识库的数据，比如通过API进行问答或信息提取。如果DeepSeek有开源的工具，可能需要指导用户如何部署本地环境，整合这些工具。 接下来，用户的需求是搭建本地个人知识库，所以需要强调本地部署的步骤，可能包括数据准备、工具安装、模型集成、检索系统搭建等。需要分步骤解释，可能需要结合常见的工具如LangChain、ChromaDB等，同时结合DeepSeek的模型。 用户可能的深层需求是希望有一个高效、私密的个人知识管理系统，能够利用先进的AI模型进行智能检索和处理。需要注意隐私保护，因为数据存储在本地，所以需要确保步骤中包括数据安全的部分。 还需要考虑用户的技术背景，是否需要简化步骤，或者提供不同的方案选择，比如自动化脚本、手动配置等。可能需要提供参考链接或GitHub仓库，帮助用户获取更多资源。 另外，用户之前得到过关于个人知识库的通用介绍，现在需要具体到DeepSeek的实现，因此需要将之前的通用步骤具体化，结合DeepSeek的工具或模型。例如，使用DeepSeek的API进行知识处理，或者使用其开源模型进行本地部署。 最后，可能需要提醒用户注意依赖安装、环境配置、数据格式处理等常见问题，以及如何测试和优化知识库的效果。确保回答清晰、步骤明确，适合不同技术水平的用户参考。</think>以下是使用DeepSeek搭建本地个人知识库的详细方案，结合其大模型能力与本地工具链，实现高效知识管理与智能检索： --- ### **1. 准备工作** #### **工具选择** - **核心框架**：DeepSeek-R1（深度求索开源模型） + LangChain（知识库框架） - **向量数据库**：ChromaDB（轻量级本地向量库）或 Milvus（高性能） - **文本处理**：Unstructured（文档解析）、Sentence-Transformers（文本向量化） - **环境依赖**：Python 3.8+、Docker（可选） #### **数据准备** - 将个人知识文件（PDF/Word/Markdown/网页等）统一存放于 `./data` 目录 - 推荐格式：结构化Markdown（便于AI解析） --- ### **2. 搭建流程** #### **步骤1：部署DeepSeek本地模型** - **方案A：API调用**（需网络，适合快速验证） ```python from deepseek_api import DeepSeek # 假设官方提供SDK model = DeepSeek(api_key="your_key", model="deepseek-r1") ``` - **方案B：本地部署**（需GPU资源） 下载开源模型权重（如DeepSeek-7B），使用LLAMA.cpp量化推理： ```bash git clone https://github.com/ggerganov/llama.cpp ./llama.cpp -m deepseek-7b-q4_0.gguf --prompt "知识库问答" ``` #### **步骤2：构建知识向量库** ```python from langchain.document_loaders import DirectoryLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma # 加载本地文档 loader = DirectoryLoader('./data', glob="**/*.md") docs = loader.load() # 文本分块（每块500字符，重叠50字符） text_splitter = RecursiveCharacterTextSplitter( chunk_size=500, chunk_overlap=50 ) chunks = text_splitter.split_documents(docs) # 生成向量并存储 embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh") vector_db = Chroma.from_documents(chunks, embeddings, persist_directory="./chroma_db") ``` #### **步骤3：集成DeepSeek问答链** ```python from langchain.chains import RetrievalQA from langchain.prompts import PromptTemplate # 自定义提示模板 prompt_template = """基于以下上下文回答用户问题： {context} 问题：{question} 答案（简洁中文，不超过3句话）： """ PROMPT = PromptTemplate(template=prompt_template, input_variables=["context", "question"]) # 构建问答系统 qa_chain = RetrievalQA.from_chain_type( llm=model, # 替换为实际DeepSeek实例 chain_type="stuff", retriever=vector_db.as_retriever(), chain_type_kwargs={"prompt": PROMPT} ) # 示例提问 response = qa_chain.run("如何用PyTorch实现线性回归？") print(response) ``` --- ### **3. 优化方向** #### **性能提升** - 使用`FAISS`替代Chroma加速向量检索 - 对高频问题设置缓存层（如Redis） - 量化模型降低推理资源消耗 #### **功能扩展** - 添加自动摘要功能（利用DeepSeek生成章节摘要） - 实现知识图谱可视化（通过NetworkX+PyVis） - 支持语音输入/输出（集成Whisper+GPT-SOVITS） #### **安全增强** - 使用Vault对敏感知识加密 - 设置本地防火墙限制外部访问 - 定期备份向量数据库 --- ### **4. 典型使用场景** 1. **智能检索**： `输入`：自然语言问题（如“2023年AI顶会有哪些趋势？”） `输出`：关联论文笔记+模型生成的整合分析 2. **自动整理**： 上传会议录音 → 自动转写 → DeepSeek提取关键结论 → 生成结构化纪要 3. **灵感辅助**： 输入碎片想法 → 知识库关联已有笔记 → 推荐拓展阅读方向 --- ### **5. 注意事项** - 硬件要求：最低8GB RAM（纯CPU），推荐NVIDIA GPU（16GB显存+） - 中文优化：需使用`bge-zh`等中文专用嵌入模型 - 数据更新：设置文件监视器（如Watchdog）实现增量索引 - 隐私保护：敏感数据建议全程离线处理 --- **完整代码示例**可参考： [DeepSeek-Knowledge-Base GitHub仓库](https://github.com/deepseek-ai/examples)（需官方提供） 通过此方案，可构建具备语义理解能力的个人知识中枢，实现从“信息存储”到“智能洞察”的升级。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值