全面认识了解DeepSeek+利用ollama在本地部署、使用和体验deepseek-r1大模型

最新推荐文章于 2025-03-10 11:01:19 发布
最新推荐文章于 2025-03-10 11:01:19 发布
阅读量1w 收藏 65
点赞数 34
分类专栏： AI-LLM相关 文章标签： deepseek 人工智能 语言大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43025151/article/details/145392970
版权

文章目录

一、DeepSeek简介

DeepSeek 是一家专注于人工智能领域的创新型科技公司；成立于2023年7月；公司名称：杭州深度求索人工智能基础技术研究有限公司。

大事件：

  • 2025 年 1 月，其相关应用登顶苹果中国地区和美国地区应用商店免费 APP 下载排行榜，在美区下载榜上超越了 ChatGPT。
  • 受 DeepSeek 冲击，2025 年 1 月 27 日美国人工智能主题股票遭抛售，美国芯片巨头英伟达股价历史性暴跌，纳斯达克综合指数大幅下跌。

发展历程及产品发布

  • 2024 年 1 月 5 日，发布 DeepSeek LLM，这是深度求索的第一个大模型，包含 670 亿参数，全部开源。
  • 2024 年 1 月 25 日，发布 DeepSeek-Coder，由一系列代码语言模型组成，在多种编程语言和各种基准测试中达到了开源代码模型的最先进性能。
  • 2024 年 2 月 5 日，发布 DeepSeek Math，以 DeepSeek-Coder-V1.5 7B 为基础进行预训练，在竞赛级 Math 基准测试中取得了 51.7% 的优异成绩。
  • 2024 年 3 月 11 日，发布 DeepSeek-VL，是一个开源的视觉 - 语言（VL）模型，在各种视觉任务中能捕捉关键语义和细节信息。
  • 2024 年 5 月 7 日，发布第二代开源混合专家（MoE）模型 DeepSeek-V2，包含 2360 亿个总参数，以经济高效的训练和推理为特点。
  • 2024 年 6 月 17 日，发布 DeepSeek-Coder-V2，在代码特定任务中达到了与 GPT4-Turbo 相当的性能。
  • 2024 年 12 月 13 日，发布用于高级多模态理解的专家混合视觉语言模型 DeepSeek-VL2，在多种任务中展现了卓越的能力。
  • 2024 年 12 月 26 日，发布 DeepSeek-V3 首个版本并同步开源，为自研 MoE 模型，生成速度相比 V2.5 模型实现了 3 倍的提升。
  • 2025 年 01 月 20 日DeepSeek-R1 发布，性能对标 OpenAI o1 正式版；DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。
  • 蒸馏小模型超越 OpenAI o1-mini：在开源 DeepSeek-R1-Zero 和 DeepSeek-R1 两个 660B 模型的同时，通过 DeepSeek-R1 的输出，蒸馏了 6 个小模型开源给社区，其中 32B 和 70B 模型在多项能力上实现了对标 OpenAI o1-mini 的效果。

在这里插入图片描述

二、技术特点

  • 性能强劲：在知识类任务、美国数学竞赛和全国高中数学联赛等测试中表现出色，大幅超过部分开源闭源模型，在多语言编程测试排行榜中，仅次于 OpenAI o1 大模型。
  • 开源特性：多个模型完全开源，如 DeepSeek-V3 等，采用 Apache2.0 许可证，开发者和研究人员可以对其进行访问、使用、研究、修改和分享。
  • 多语言支持：支持多达 20 种语言的实时翻译和语音识别，在中文能力上与 Qwen2.5-72B 在部分评测集上表现相近。
  • 训练成本低：如 DeepSeek-V3 的训练仅使用了 2048 个 H800 GPU，其 API 服务定价也具有较高的性价比。

免费，开源，成本低，算法强，性能高

三、架构设计

DeepSeek 不同模型在 Transformer 架构基础上进行了诸多创新；

3.1、DeepSeek-V3

多头潜注意力（MLA）

  • 计算分解：将键和值向量的计算分解成两个步骤，引入潜变量。把传统计算键和值向量从原材料到产品的加工，加入了 “中间产品” 潜向量，将原本的矩阵分解成两个较小矩阵，在推理时只缓存潜向量，大大节省存储空间。
  • 低秩压缩：利用不同注意力头之间信息重叠的特性，通过低秩压缩提取共同信息，允许不同注意力头以不同方式使用这些信息，减少冗余，还可能对训练产生正则化效果。

混合专家模型（MoE）的进化

  • 无辅助损失的负载均衡：抛弃传统在训练损失中添加辅助损失项的方法，采用动态偏置项。为每个专家设置可学习偏置项并加到专家亲和力上，若某个专家被激活次数过少，就增加其偏置项，使其更易被选中，避免辅助损失带来的性能损害。
  • 共享专家机制：通过共享专家机制，不同的任务或数据可以共享一些通用的专家，提高专家的利用率，进一步提升模型的效率和泛化能力，避免路由崩溃。

多令牌预测（MTP）：传统模型一般逐个预测 token，MTP 技术可以一次预测多个 token，使模型推理速度更快，生成内容更连贯，提升了模型的生成效率和质量。

3.2、DeepSeek-V2

  • Transformer 核心：每个 Transformer 块由一个注意力模块和一个前馈网络（FFN）组成，为模型提供基础的并行计算和长序列处理能力，能够捕捉文本中的长距离依赖关系。
  • MLA 架构：减少计算量和推理显存，让模型在处理长文本等任务时，能更高效地利用资源，提升处理速度和性能。
  • DeepSeekMoE：自研的 Sparse 结构，进一步降低计算量，与 MLA 结合实现模型性能跨级别的提升，在拥有大量参数的情况下，保持高效的计算和推理。
  • 训练框架：基于高效且轻量级的框架 HAI-LLM 进行训练，采用 16-way zero - bubble pipeline 并行、8-way 专家并行和 ZeRO-1 数据并行，提高训练效率，充分利用计算资源，加速模型收敛。

3.3、DeepSeek-R1

  • 知识蒸馏架构：通过知识蒸馏架构，将长链推理模型的能力传递给标准的 LLM，提升标准 LLM 的推理能力，使模型能够更好地处理复杂的推理任务。
  • 强化学习架构：以纯强化学习架构训练 R1-Zero，让模型在试错中学习，探索新的训练方式，为模型训练提供新方向，尽管存在一些问题，但具有一定的创新性和探索价值。
  • 多阶段训练架构：引入多阶段训练和冷启动数据，在不同训练阶段采用不同方法，并在模型开始学习前提供高质量数据，帮助模型更好地初始化和学习，提高模型的训练效果和稳定性。

四、DeepSeek算法

DeepSeek 算法以 Transformer 架构为基础，采用了多种技术来提升性能和效率；

4.1、DeepSeek LLM 算法

架构方面

  • 核心 Transformer 架构：采用自回归 Transformer 解码器架构，以注意力机制为核心，能并行计算，高效处理长序列数据，捕捉文本长距离依赖关系，让模型更好理解上下文语义。
  • 分组查询注意力（GQA）：在 670 亿参数版本中采用 GQA 技术，优化推理成本，在保持性能同时减少计算量，提高模型运行效率。
  • 旋转位置编码（Rotary Embedding）：采用旋转位置编码表示位置信息，让模型能区分不同位置的文本信息，更好捕捉文本顺序和结构，提升语言理解和生成能力。

训练优化方面

  • 优化器：选择 AdamW 优化器，结合了 Adam 优化器和权重衰减技术，有效调整模型参数更新步长，防止过拟合，有助于模型快速稳定收敛。
  • 学习率策略：采用独特的多步学习率计划，根据训练阶段和数据特点调整学习率，在不同训练时期为模型提供合适学习率，提高训练效率和模型性能。
  • 微调技术：使用监督微调（SFT）和直接偏好优化（DPO）技术，基于预训练模型，在特定任务数据集上微调，使模型输出更符合任务需求，提升在具体任务上的性能表现。

4.2、DeepSeek-V2 算法

  • 混合专家（MoE）架构：采用混合专家架构，由多个专家网络和门控网络组成，根据输入数据动态选择激活部分专家网络处理，提高模型表示能力和灵活性，降低计算成本和存储需求。
  • 海量数据预训练：在包含 8.1 万亿 token 的多样化且高质量语料库上预训练，让模型学习丰富语言知识和模式，掌握不同领域、主题和语言风格特点，提升泛化能力。
  • 强化学习优化：完成预训练后，通过强化学习进一步优化，基于奖励信号调整模型参数，使模型生成结果更符合人类期望和任务目标，提升模型性能和实用性。

4.3、DeepSeek-R1 算法

  • 无监督强化学习：通过无监督强化学习技术改进数据处理方式，无需人工标注数据，模型自动从无监督数据中学习特征和模式，降低数据标注成本，提高数据利用效率，在 MMLU 基准测试中，自生成合成数据质量达人工标注数据的 92%。
  • 稀疏激活特性：具有稀疏激活特性，运行时仅激活部分参数处理输入数据，减少计算量和存储需求，提高模型运行速度和效率，提升输出可信度，达到金融业务合规标准。

4.4、DeepSeek 在算力优化上的算法

  • FP8 精度格式：引入 FP8 精度格式，提高计算效率，在传统计算模式下单卡有效算力仅为 18TFLOPS，通过 FP8 格式应用，算力跃升至 42TFLOPS，降低了硬件成本。
  • 参数效率优化：遵循参数效率高于绝对参数量的原则，其 130B 参数模型在 GSM8K 测试中表现优于传统 340B 模型，注重提升参数利用效率，而非单纯增加参数量来提高模型性能。

五、DeepSeek的使用

DeepSeek 的入口可以通过以下方式：

在这里插入图片描述

六、本地部署DeepSeek R1模型

本文使用Ollama和Open WebGUI这两个工具在本地部署DeepSeek R1模型；

6.1、安装Ollama

Ollama是一个用于管理和部署机器学习模型的工具。

下载window安装版本ollama ：https://ollama.com/download

在这里插入图片描述

在这里插入图片描述

#安装ollama到指定目录
OllamaSetup.exe /DIR="E:\DevelopmentEnvironment\ollama"

安装完成后测试访问：

http://localhost:11434/

在这里插入图片描述

6.2、下载DeepSeek R1模型

通过ollama官网下载deepseek-r1:1.5b模型：
在这里插入图片描述

ollama run deepseek-r1:1.5b

在这里插入图片描述
安装完成后，就可以通过命令行的形式与deepseek-r1进行对话了
在这里插入图片描述

在这里插入图片描述

你独自走过了很多艰难时刻；新的一年你一定要幸福啊！

DeepSeek 2.5本地部署的实战教程
herosunly的博客
09-22 17万+
本文主要介绍了DeepSeek 2.5本地部署的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行DeepSeek 2.5 3.1 简单测试 3.2 启动API服务
Deepseek 本地部署“网页版”与“软件版”超级详细教学（deepseek+Ollama+OpenWebUI+Chatbox AI+Cherry Studio）
久绊A的博客
02-20 3476
近期，人工智能领域迎来了一股新的热潮，DeepSeek作为一款备受瞩目的开源语言模型，凭借其卓越的性能和广泛的应用场景，迅速在全球范围内引起了广泛关注。从技术社区到商业领域，DeepSeek的热度不断攀升，甚至有“挤爆”的趋势。这不仅反映了其强大的技术实力，也体现了市场和用户对其的高度期待。在这样的背景下，本地部署DeepSeek模型的需求也日益增加。本地部署不仅可以避免网络延迟和数据隐私问题，还能根据用户需求进行定制化优化。
在本地使用 Ollama 部署 Deepseek Coder R1 大模型
02-11
deepseek本地部署 安装 Ollama 拉取并运行 Deepseek Coder R1 通过终端或 API 交互 可选：自定义模型 可选：使用 Web UI
简易教程|使用Ollama在本地部署大语言模型（Ollama+Deepseek_R1+OpenWebUI）
热门推荐
m0_61171702的博客
01-26 4万+
用简洁的方式部署AI大模型，从安装ollama到拉取AI大模型文件，到使用OpenWebUI的使用，没有多余描述。
Deepseek本地部署详细指南！从 Ollama 到个人知识库应用
2401_85375186的博客
02-10 2348
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。在配置 url 时，因为是 docker 服务，http://localhost:11434 存在无法访问的情况，可以尝试http://host.docker.internal:11434。访问https://ollama.com/library/deepseek-r1，默认为 7b 模型，如需其他模型，可以在当前页搜索所需模型。：智能制造和自动化工厂提高了生产效率和质量。
DeepSeek介绍及使用ollama本地化部署DeepSeek-R1大模型
chengpei147的博客
01-29 8216
Ollama 是一个开源项目，它提供了一个框架和工具，用于在本地环境中运行、部署和管理大型语言模型（LLMs）。Ollama 旨在简化 LLMs 的使用，使得开发者和研究人员能够更容易地在自己的硬件上运行这些模型，而不需要依赖云服务或高性能计算资源。
DeepSeek部署教程(基于Ollama)
老薛的专栏
01-29 7070
这几天科技圈最火的莫过于deepseek，我抽空也学习一下deepseek的离线部署。1、下载Ollama并安装下载好后双击直接运行。2、安装deepseek依据自己的电脑配置，来决定安装deepseek模型的哪个版本。我家里的电脑还是集成显卡，因此我选择了硬件配置需求最低的1.5B,，让家里的老电脑也发挥一下余热。
使用ollama在本地部署一个deepseek大模型
从入门到放弃
02-02 4364
DeepSeek最近很火，但是使用的时候因为种种原因，经常无响应，要不排队，要不无法联网搜索，研究了一下，发现自己的破显卡还能试着本地部署运行一下，索性部署记录了一下这个过程分享出来。
DeepSeek R1模型基于ollama部署
qq_42250782的博客
01-26 4666
注：ollama deepseek r1 模型网址：https://ollama.com/library/deepseek-r1:1.5b。它提供了一套工具和命令，使用户能够轻松地下载、管理和运行各种语言模型，包括DeepSeek、LLaMA、LLaVA等流行模型。Ollama是一个专为本地机器设计的开源框架，旨在简化大型语言模型（LLM）的部署和运行过程。第一次执行ollama run deepseek-r1:1.5b 会自动下载模型。可以去直接去官网下载: https://ollama.com/
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2564
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
教程Ollama+deepseek-r1:1.5b+AnythingLLM本地部署轻量级大模型
02-27
本教程将详细介绍如何在本地环境中部署一个名为Ollama+deepseek-r1:1.5b+AnythingLLM的轻量级大模型。这个模型不仅能够提供强大而稳定的服务，而且能够在网络不可用的情况下保证用户仍能使用deepseek，满足对基本AI...
ollama 部署 deepseek-r1 70B 模型完整指南.pdf
02-10
在部署DeepSeek-R1 70B模型的完整过程中，首先需要进行模型的下载与准备。具体操作为通过ModelScope平台下载经过量化处理的GGUF格式模型文件。推荐选择Q5_K_M量化级别，这种量化级别可以在保持94%的精度下，将模型...
DeepSeek+Ollama+Cherry Studio 实现本地部署搭建知识库
最新发布
weixin_43705315的博客
03-10 929
本文介绍了如何通过DeepSeek+Ollama+Cherry Studio 实现本地部署搭建知识库。
《保姆级教程：Ollama + DeepSeek 本地快速搭建，零门槛上手！》
weixin_51754274的博客
02-14 2403
本文详细介绍了如何在本地快速搭建 Ollama 和 DeepSeek 模型，实现高效的人工智能应用部署。首先，文章概述了 DeepSeek 架构设计，包括多头潜注意力（MLA）、混合专家模型（MoE）和多令牌预测（MTP）等核心技术，以及其在算力优化上的优势。接着，通过详细步骤指导读者完成 Ollama 的安装，包括指定安装路径、设置环境变量和下载 DeepSeek R1 模型。文章还提供了本地部署的配置要求和测试方法，并展望了未来功能，如 WeChat 与 Ollama 的对接。
Ollama部署deepseek模型
wgx_0504的博客
02-06 2493
如果想要在本地运行 DeepSeek 需要用到 Ollama 这个工具，这是一个开源的本地大模型运行工具。我们可以访问 https://ollama.com/ 进入 Ollama 官网下载 Ollama。下载时有三个系统的安装包可选择，这里只需要选择下载我们电脑对应的操作系统版本即可。选择参数规模【1.5b】，相对较小的模型，适合资源有限的环境，或者在任务比较简单。首次运行会自动下载模型，下载完成后，可以直接进行对话。下载时可能掉线，再次输入指令重新运行即可继续下载。再次运行可以直接进行对话，指令相同。
本地部署并运行DeepSeek R1
howard2005的专栏
01-25 1万+
本次实战中，我们成功部署并体验了Ollama与DeepSeek R1的强大功能。首先，通过Ollama的便捷安装和版本管理，我们快速搭建了本地运行环境。随后，下载并运行DeepSeek R1模型，验证了其在多个场景中的实用性。
轻松部署 DeepSeek R1：基于 Ollama、Chatbox 平台的操作指南
暖风
01-25 2万+
打开浏览器，访问Ollama官网，点击“Download”进入下载页面。该平台支持Windows、macOS和Linux系统，苹果平台无论是Intel内核还是M1系列均能适配。：在Windows系统下，获取对应的exe应用程序后，双击启动安装程序。安装过程中，全程选择默认设置，点击“Install”后一路确认到底。安装完成后，程序会自动启动，此时在电脑右下角的托盘区域，你将看到Ollama的应用图标。ollama -v。
Java+deepseek
02-19
### Java与DeepSeek的技术融合 #### DeepSeek在Java开发中的作用 在现代软件开发领域，Java开发工程师面对着复杂多变的任务需求和严格的时间约束。为了应对这些挑战，DeepSeek作为一款先进的AI工具，为Java开发者提供了全方位的支持，涵盖了代码编写、调试、架构设计等多个方面[^1]。 #### 实际应用场景举例 当涉及到具体的编程实践时，DeepSeek不仅限于简单的语法建议，还能深入参与到更复杂的任务中去。例如，在构建基于Spring Boot框架的应用程序时，可以通过特定指令让DeepSeek自动生成带有用户注册功能的RESTful API接口，此过程会自动加入JPA持久化机制、参数验证以及全局异常处理器等功能模块[^5]。 此外，针对那些希望利用最新的人工智能进展来增强自己应用程序的企业和个人而言，可以考虑采用专门为DeepSeek定制化的解决方案——`DeepSeek4j`。这个库由Pig团队创建，它继承并扩展了OpenAI4J项目的优点，特别适合用于处理涉及DeepSeek特有属性（如思维链条）的工作负载；同时兼容不同版本的Spring Boot环境，并且内置了丰富的特性集，比如响应式的流控制和支持详细的日志记录等[^4]。 ```java // 使用DeepSeek4j简化API调用流程 import com.deepseek.DeepSeekClient; import org.springframework.web.reactive.function.client.WebClient; public class ExampleService { private final WebClient webClient = WebClient.builder().baseUrl("http://example.com").build(); public String getExampleData() { return new DeepSeekClient(webClient).get("/api/data"); } } ``` #### 性能表现评估 从性能角度来看，特别是在执行工程类任务上，尽管某些商业产品可能暂时领先一步，但是开源版的DeepSeek-V3已经展现出了相当不错的竞争力。尤其是在解决算法难题方面，得益于内部采用了高效的知识提炼方法论，使得这款模型能够在多个权威评测标准下取得优异的成绩，证明了其具备强大的问题解析能力和高效的代码生产能力[^3]。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hhzz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值