LLMs之DeepSeek：仅需四个步骤的最简练实现DeepSeek-R1推理—基于Ollama框架实现本地部署并启用DeepSeek-R1实现推理图文教程

已于 2025-01-25 16:41:30 修改
阅读量6.2k 收藏 10
点赞数 6
分类专栏： NLP/LLMs 文章标签： DeepSeek-R1 Ollama
于 2025-01-23 23:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41185868/article/details/145331002
版权

LLMs之DeepSeek：仅需四个步骤的最简练实现DeepSeek-R1推理—基于Ollama框架实现本地部署并启用DeepSeek-R1实现推理图文教程

目录

第一步、安装Ollama

LLM之Ollama：ollama的简介、安装和使用方法、案例应用之详细攻略

第二步、基于Ollama实现本地部署并启用DeepSeek-R1模型服务

(1)、进入官网，找到对应模型的下载命令

(2)、本地打开ollama，执行下载命令

查看模型默认下载路径

(3)、测试deepseek-r1模型

(4)、查看deepseek-r1模型的信息：基于qwen2模型架构进行Q4_K_M量化而来

第一步、安装Ollama

LLM之Ollama：ollama的简介、安装和使用方法、案例应用之详细攻略

LLM之Ollama：ollama的简介、安装和使用方法、案例应用之详细攻略_ollama中文说明书-CSDN博客

第二步、基于Ollama实现本地部署并启用DeepSeek-R1模型服务

(1)、进入官网，找到对应模型的下载命令

地址：Ollama

(2)、本地打开ollama，执行下载命令

ollama run deepseek-r1:1.5b

查看模型默认下载路径

(3)、测试deepseek-r1模型

ollama run deepseek-r1:1.5b
ollama list                           # 列出计算机上的模型
ollama ps                            # 列出当前加载的模型
ollama show llama3.2                  # 显示模型信息
ollama stop llama3.2                   # 停止当前正在运行的模型

(4)、查看deepseek-r1模型的信息：基于qwen2模型架构进行Q4_K_M量化而来

  Model
    architecture        qwen2
    parameters          1.8B
    context length      131072
    embedding length    1536
    quantization        Q4_K_M

【实战篇】【零代码也能玩转AI！手把手教你用Ollama本地部署DeepSeek（保姆级教程） 】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-19 501
创建专属文件夹编写Modelfile配置文件在文件夹内新建「Modelfile」文件（用记事本即可），写入：FROM deepseek-ai/deepseek-R1:latestPARAMETER temperature 0.7 # 控制回答创意度（0=保守，1=天马行空）PARAMETER num_ctx 4096 # 支持4K上下文记忆执行部署命令。
本地部署deepseek最全讲解-ollama
m0_65442322的博客
02-17 671
是一个开源的命令行工具，旨在简化和加速在本地运行和使用大型语言模型（LLMs）。它允许用户轻松下载、运行和管理各种预训练的语言模型，通常用于自然语言处理（NLP）任务。Ollama 的主要功能。
LLMs之DeepSeek：仅需四个步骤的最简练实现DeepSeek-R1对话和RAG知识库问答—基于DeepSeek模型并结合Ollama后端和AnythingLLM前端打造客服对话以及知识库问答系
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-28 2999
​ LLMs之DeepSeek：仅需四个步骤的最简练实现DeepSeek-R1对话和RAG知识库问答—基于DeepSeek模型并结合Ollama后端和AnythingLLM前端打造客服对话以及知识库问答系统图文教程 目录 基于DeepSeek模型并结合Ollama后端和AnythingLLM前端打造知识库问答系统 基于DeepSeek模型并结合Ollama后端和AnythingLLM前端打造知识库问答系统 第1步，开启Ollama服务 ollama list LLMs之DeepSe
vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案
最新发布
2401_85375151的博客
04-22 992
系列模型是的蒸馏模型，官方提供了从1.5B - 70B不同尺寸大小的模型。特别适合在计算资源有限的环境中部署。各个版本的蒸馏模型评估结果如下：其中是通过对模型进行蒸馏得到的版本。该模型在评估结果中整体表现优异，在多项测试中均超过o1-mini，且在系列中效果和相差不大，但参数量近乎是的一半只有32B大小，因此可谓是本地部署的绝佳选择。本次实验就基于模型本地私有化部署，其中推理优化框架采用vLLM。vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成Modelscope。
手把手部署！win11系统把DeepSeek-R1蒸馏-Qwen-7B推理起来！vllm高吞吐，附模型下载
qq_41314882的博客
02-27 1033
人的专注力只有10分钟，今天内容非常简单：① 推理环境与准备② 全尺寸下载DeepSeek1.5B/7B/8B/14B/32B/72B等③ 本地跑起来，兼容openai api格式推理④ 将模型接入RAG-langchain中。
LLMs之DeepSeek-V3：DeepSeek-R1的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-22 2万+
​ LLMs之DeepSeek-V3：DeepSeek-R1的简介、安装和使用方法、案例应用之详细攻略 目录 相关文章 DeepSeek-R1的简介 DeepSeek-R1的安装和使用方法 DeepSeek-R1的案例应用 相关文章 LLMs之MoE之DeepSeek：《DeepSeek-V3 Technical Report》翻译与解读 LLMs之MoE之DeepSeek：《De
2025 最新 DeepSeek-R1-Distill-Qwen-14B vLLM 部署全攻略：从环境搭建到性能测试(V100-32GB * 2)
MnivL的博客
02-06 1万+
本文详细介绍了在 2025 年进行 DeepSeek-R1-Distill-Qwen-14B 模型基于 vLLM 的部署过程。从环境准备开始，包括硬件与软件环境要求，如特定的操作系统、GPU 型号、Python 版本、CUDA 及 PyTorch 版本等，指导读者完成基础环境搭建。接着深入依赖安装环节，细致讲解了使用 conda 创建虚拟环境、pip 换源加速下载依赖包以及安装 CUDA 和 PyTorch 的要点，并提供检查安装是否成功的方法。
万字长文解构DeepSeek V1/V2/V3/R1进化史：从算法革命到推理涌现！
AI前沿技术的分享！
03-01 1389
万字长文解构DeepSeek V1/V2/V3/R1进化史：从算法革命到推理涌现！期望无论你是不是技术同学，都能够读懂 DeepSeek。
DeepSeek本地部署、个人数据库搭建、模型微调
ZhrSyd的博客
03-17 1308
定制Modelfile里的prompt生成自己的模型。
自回归和Rectified Flow完美融合统一多模态理解和生成！DeepSeek&北大等开源JanusFlow
AIGCer的博客
11-20 2303
当前图像理解与生成任务通常由专门的模型完成，统一模型在性能和效率上仍然存在局限性，难以在两个领域中同时达到优异表现。
deepseek+ollama+maxkb部署自己的本地知识库详解【纯玩-详解】
python|大数据爱好者Alvin
02-19 1219
deepseek+ollama+maxkb部署自己的本地知识库详解
QwQ-32B通用能力测评的详细分析
maxcode
03-10 231
QwQ-32B的通用能力提升源于其独特的。QwQ-32B展现均衡优势的核心原因在于。
大模型理解与生成三维点云：CVPR《GPT4Point: A Unified Framework for Point-Language Understanding and Generation》介绍
qq_37261357的博客
04-16 3711
本文是关于CVPR2024最新论文《GPT4Point: A Unified Framework for Point-Language Understanding and Generation》的简要介绍。GPT4Point是让大模型理解与生成三维模型点云的经典作品，作者提出了 Pyramid-XL点云-语言标注引擎，以及数据规模超过1M的物体文本数据集，并且使用多种评价指标评测GPT4Point的点云理解和生成性能。
Neo4j 上使用 Deepseek-R1 7B 构建知识图谱并进行查询
iCloudEnd的博客
02-06 1037
Deepseek-R1是一个混合专家模型，通过强化学习进行训练。这是一个庞大的模型，总共有 6710 亿个参数，但在推理过程中只有 370 亿个参数处于活跃状态。这家初创公司声称，尽管训练成本只是 OpenAI o1 的一小部分，但他们的模型与 OpenAI o1 不相上下。此外，他们还通过使用 Deepseek-R1 生成的合成数据对其他一些开源 LLM（如 Llama 3.1 和 Qwen 2.5）进行微调，创建了另外六个模型。这些被称为蒸馏模型，即使用合成数据用更强大的模型训练较小的模型。
AIGC：ChatGPT(一个里程碑式的对话聊天机器人)的简介(意义/功能/核心技术等)、使用方法(七类任务)、案例应用(提问基础性/事实性/逻辑性/创造性/开放性的问题以及编程相关)之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-08 8万+
AIGC：ChatGPT(一个里程碑式的对话聊天机器人)的简介(意义/功能/核心技术等)、使用方法(七类任务)、案例应用(提问基础性/事实性/逻辑性/创造性/开放性的问题以及编程相关)之详细攻略目录爆火的原因：免费+好用+随时可上手+比较靠谱ChatGPT的简介ChatGPT的简介—意义、功能、核心技术、训练过程ChatGPT的简介—优缺点各方观点/评价基于ChatGPT模型的哲学思考ChatGPT模型如何对待不可知的问题——ChatGPT后期会加持WebGPTChatGPT模型是否存在创新的意识ChatG
​​​​​​​NLP之TEA：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-06 7万+
NLP之TEA：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)
AI：大模型领域最新算法SOTA核心技术要点总结(一直持续更新)、大模型实战与理论经验总结(训练优化+代码实战+前沿技术探讨+最新案例应用)、带你精细解读多篇优秀的大模型论文、AI领域各种工具产品集合
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-13 7万+
​ AI：大模型领域最新算法SOTA核心技术要点总结(一直持续更新)、大模型实战与理论经验总结(训练优化+代码实战+前沿技术探讨+最新案例应用)、带你精细解读多篇优秀的大模型论文、AI领域各种工具产品集合(文本/图片/编程/办公/视频/音频/多模态类)的简介之详细攻略 目录 相关文章 大模型领域最新算法SOTA总结
NLP：自然语言处理技术最强学习路线之NLP简介(岗位需求/必备技能)、早期/中期/近期应用领域(偏具体应用)、经典NLP架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装(更新中)
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-05 6万+
​ NLP：自然语言处理技术最强学习路线之NLP简介(岗位需求/必备技能)、早期/中期/近期应用领域(偏具体应用)、经典NLP架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装(更新中) 目录 NLP自然语言处理技术最强学习路线 ☆☆一、自然语言处理技术的简介 ☆☆二、自然语言处理技术相关概念简介 ☆☆四、NLP具体应用领域(
embedding模型使用本地ollama部署的nomic-embed-text，推理模型使用本地ollama部署的deepseek-r1:8b
03-15
<think>好的，用户之前已经询问过如何使用LangChain搭建RAG系统，现在他想知道如何结合本地的Ollama部署的embedding模型nomic-embed-text和推理模型deepseek-r1:8b来构建RAG。我需要先回顾之前的回答，看看有没有需要调整的地方，确保这次回答在结构上一致，但针对本地模型进行调整。 首先，用户明确提到了使用Ollama本地部署的两个模型：nomic-embed-text作为embedding模型，deepseek-r1:8b作为推理模型。这意味着我需要指导用户如何将这些本地模型集成到LangChain的流程中，替换之前提到的HuggingFaceEmbeddings和OpenAI等云端服务。 接下来，我需要考虑Ollama在LangChain中的支持情况。记得LangChain有Ollama的集成，可以通过Ollama的本地服务来加载模型。所以可能需要使用langchain.llms.Ollama和langchain.embeddings.OllamaEmbeddings相关的模块。 然后，文档加载和处理的步骤应该和之前类似，比如使用PyPDFLoader或WebBaseLoader，这部分不需要改变。文本分割也是一样的，使用RecursiveCharacterTextSplitter，所以这部分可以保持原样。 在向量化与存储部分，之前用的是HuggingFaceEmbeddings，现在需要替换为Ollama提供的nomic-embed-text模型。需要确认Ollama是否支持这个模型，以及如何正确调用。可能需要使用OllamaEmbeddings并指定模型名称。 对于推理模型，之前用的是OpenAI，现在要替换为本地Ollama的deepseek-r1:8b。这里需要使用Ollama类来初始化模型，并确保模型名称正确，同时可能需要调整参数，比如temperature等。 另外，用户可能是在本地环境运行，需要确保Ollama服务已经正确安装并运行，并且所需的模型已经下载到本地。可能需要提醒用户先通过ollama pull来获取模型。 还要注意代码示例的正确性，比如导入语句是否正确，参数是否匹配。例如，使用OllamaEmbeddings时，可能需要传递base_url参数，如果Ollama服务不在默认的端口上。 另外，用户可能需要了解如何启动Ollama服务，或者是否需要额外的配置步骤。但根据之前的问题，用户可能已经部署好了，所以重点放在如何在LangChain中使用这些模型。 最后，优化策略和应用场景部分可能需要调整，以反映使用本地模型的优势，比如数据隐私、离线使用等，以及可能的性能考虑，比如响应时间和硬件需求。 需要检查是否有潜在的误区，例如模型名称是否正确，Ollama的模型库中是否真的有nomic-embed-text和deepseek-r1:8b，或者是否有拼写错误。例如，deepseek-r1是否正确的模型名称，或者是否应为deepseek-r1-8b？需要确认。 总结步骤应该是： 1. 确认Ollama服务运行，模型已下载。 2. 文档加载和分割（同之前）。 3. 使用OllamaEmbeddings加载nomic-embed-text生成向量，存储到FAISS。 4. 配置检索器。 5. 使用Ollama的deepseek-r1:8b作为LLM，构建RAG链。 需要确保代码示例中正确引用了这些模型，并给出必要的参数，比如base_url如果Ollama服务在非默认位置的话。例如，如果Ollama在本地localhost:11434，可能不需要特别指定，但如果有自定义配置则需要。 可能还需要提醒用户安装必要的依赖，如langchain-community，ollama等，如果之前的回答中没有提到的话。 最后，需要测试代码是否可行，是否存在常见的错误，比如模型名称错误、服务未启动等，并在回答中给出相应的提示或解决方案。</think>以下是基于本地Ollama部署的 **nomic-embed-text**（Embedding模型）与 **deepseek-r1:8b**（推理模型）搭建RAG系统的分步指南，重点说明本地模型集成方法： --- ### 前置条件 1. **Ollama已安装**：确保本地已部署Ollama服务（[安装文档](https://ollama.ai/)） 2. **模型下载**： ```bash ollama pull nomic-embed-text # 下载Embedding模型 ollama pull deepseek-r1:8b # 下载推理模型 ``` --- ### 分步实现代码 #### 1. 初始化本地模型 ```python from langchain_community.embeddings import OllamaEmbeddings from langchain_community.llms import Ollama # 初始化Embedding模型（nomic-embed-text） embeddings = OllamaEmbeddings( model="nomic-embed-text", # Ollama中注册的模型名称 base_url="http://localhost:11434" # Ollama服务地址 ) # 初始化推理模型（deepseek-r1:8b） llm = Ollama( model="deepseek-r1:8b", temperature=0.3, # 控制生成随机性（0-1，值越小越确定） num_ctx=4096 # 上下文窗口大小 ) ``` #### 2. 文档处理与向量化（与云端流程相同） ```python from langchain_community.document_loaders import PyPDFLoader from langchain_text_splitters import RecursiveCharacterTextSplitter # 加载PDF文档 loader = PyPDFLoader("论文.pdf") documents = loader.load() # 文本分块 text_splitter = RecursiveCharacterTextSplitter( chunk_size=500, chunk_overlap=50 ) splits = text_splitter.split_documents(documents) # 向量存储（使用FAISS） from langchain_community.vectorstores import FAISS vectorstore = FAISS.from_documents(splits, embeddings) ``` #### 3. 构建RAG链 ```python from langchain.chains import RetrievalQA # 创建检索器 retriever = vectorstore.as_retriever(search_kwargs={"k": 3}) # 组装RAG链 rag_chain = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", retriever=retriever, return_source_documents=True # 返回参考文档 ) ``` --- ### 关键优化技巧 1. **Embedding模型适配**： - Nomic-embed-text支持**8192 tokens长上下文**，可适当增大`chunk_size` - 若需更高精度，尝试调整`model_kwargs={"device": "cuda"}`（需GPU支持） 2. **推理模型调优**： ```python llm = Ollama( model="deepseek-r1:8b", temperature=0.3, # 降低生成随机性 top_p=0.9, # 控制生成多样性 stop=["<|endoftext|>"] # 添加停止符 ) ``` 3. **性能监控**： ```python # 测试响应速度 import time start = time.time() response = rag_chain.invoke("量子计算的核心优势是什么？") print(f"响应时间: {time.time()-start:.2f}s") ``` --- ### 常见问题解决 | 问题现象 | 解决方案 | |-------------------------|----------------------------------| | `ConnectionError` | 检查Ollama服务是否启动：`ollama serve` | | `Model not found` | 确认模型名称拼写，重新执行`ollama pull` | | 响应速度慢 | 减少`chunk_size`或升级硬件配置 | | 生成内容不相关 | 调整`search_kwargs={"k": 5}`增加检索量 | --- ### 本地部署优势 1. **数据隐私**：所有计算在本地完成，避免敏感数据外传 2. **定制化**：支持自定义微调模型（需使用Ollama Modelfile） 3. **离线运行**：无需互联网连接即可提供服务 通过这种方案，您可以完全基于本地环境构建安全可控的RAG系统，适合企业内网、科研机构等对数据隐私要求高的场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值