当你在使用DeepSeek或其它AI时,也许可能遇到这样的问题:
❌你的知识迭代 VS 模型训练进度
“刚整理完行业前沿白皮书,却发现DeepSeek还卡在半年前的版本断层”
❌数据绞刑架 VS 硬盘保险箱
“把机密合同喂给AI?这和在推特公开裸奔有什么区别”
以上问题,可以通过使用DeepSeek构建一个私有知识库来解决。通过构建知识库:
✅ 本地化模型实时吞噬新文档,你的知识库永远比大模型快一个版本周期
✅ 数据从不出本地硬盘,不用担心数据系列
接下来,本文将介绍如何利用DeepSeek-R1模型的能力,借助Ollama与AnythingLLM两个工具,实现个人知识库的构建。
1.Ollama本地部署DeepSeek-R1模型
访问ollama官网,点击download。https://ollama.com/
打开下载的安装包,点击“Install” ,等待Ollama安装完成。
等待安装完成后,按win+r键,输入cmd调出命令行窗口。
输入
ollama --version
按下回车后出现版本号,即为安装成功。
我们选择推理能力更强的deepseek-r1模型进行本地部署。小编的笔记本显存为6G,因此选择最小的1.5b模型进行部署,如果显存更大的话,可以选择更大的模型。例如,选择7b模型能得到更好的回复,那么下面代码中的“1.5b”就要改为“7b”。
在命令行窗口中输入:
ollama run deepseek-r1:1.5b
按下回车,模型开始自动下载。
模型下载成功后,自动进入对话模式,我们可以在这里跟模型进行对话。
至此,恭喜你已经完成了deepseek-r1模型的本地部署。
2.AnythingLLM的下载与使用
(1)下载AnythingLLM
首先进入AnythingLLM的官网https://anythingllm.com/,点击“Download for desktop”。
根据电脑系统,选择合适的版本进行下载。注意,页面中提示由于最近的DDOS事件,可能导致下载链接不可用。若无法下载,可关注根根AI公众号,回复“AnythingLLM”领取资源。
打开下载好的安装包,选择“仅为我安装”与安装路径,软件将会自动安装。
安装过程中,可能会出现以下错误。已经成功安装Ollama后,此错误可不予理会。
(2)AnythingLLM的配置
进入AnythingLLM后,点击Get started,开始使用。
选择模型提供为“Ollama”,选择模型为“deepseek-r1:1.5b”或其它已经下载好的模型,点击下一步箭头。
后面可跳过邮箱注册步骤,点击下一步箭头,新建工作区,设置一个工作区名称,继续点击下一步。
首先点击左下角的小扳手,打开设置,找到 人工智能提供商 -> Embedder首选项,选择嵌入引擎提供商为Ollama,模型选择为deepseek-r1:1.5b,最后点击保存更改。点击左下角的返回键(原来小扳手的位置),返回首页。
接下来将会进入AnythingLLM主页,点击刚才设置的工作区,即可进入对话。
点击工作区中的上传标识,即可上传文件。
第一步,点击或拖拽上传文件。我们在这里上传了两篇公众号的文章、DeepSeek的两篇相关论文、一份变电站的相关书籍、一份关于Java的QA问答对。
第二步,选择想要上传到工作区的文件。我们在这里选择两篇跟Word接入DeepSeek相关的两篇公众号文章。在这里选择文件时要注意,由于本地部署的模型较小,检索能力没有那么强大,因此尽量选择与工作区内容相关的文档进行上传。内容不相似的文档可以新建多个工作区。
第三步,点击“Move to Workspace”将文件移动到工作区。
移动完成后,点击“Save and Embed”。若文件较大,此步骤会消耗较长的时间。
等待上传成功后,即可开始对话。
3.效果测试
(1)根据文档回答问题
告诉DeepSeek"总结资料,如何将DeepSeek接入Word",DeepSeek能够按照文档的内容进行总结,生成输出,但DeepSeek目前暂时还无法解析图片,因此只能根据文档内的文本内容做出回答。
(2)根据《伤寒杂病论》做出诊断
首先,新建一个工作区,将txt格式的《伤寒杂病论》作为资料上传。
向DeepSeek提问“我现在腹痛难忍,请告诉我如何用药”,DeepSeek按照伤寒杂病论中的内容,告诉我应该使用“柴胡桂枝汤”,并给出了具体的配方。
(3)数据分析
新建一个工作区,并将一份变电站的各个指标的变化数据上传,接下来需要DeepSeek来分析表内某一个时间段的数据。我们可以通过AI,直接对表格数据进行分析。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。