快速用上专属于自己的大模型&智能体

背景

昨天，公司同事突传喜讯，我们内部也成功部署了私有化的deepseek蒸馏模型，虽然参数量不大，但有了私有部署模型，就意味着，之前很多不能深入结合的业务，可以去做深入了。

毕竟公有模型终归还是存在数据隐私方面的风险，而一些租赁方案，或者所谓的MaaS（模型即服务）的方案，本质上还是建立在云服务的基础上，也就是云服务时代存在的问题MaaS都有，最显著的就是，高峰期需求大，服务不稳，低谷期需求小，服务稳，这基本属于自然现象了，没办法协调。

但我发现有些朋友，尤其是非技术类的用户，总感觉大模型这类产品和自己很远，所以他们不积极不主动的去接触，也就不去用，甚至一些技术人员传统观念根深蒂固，也把AI拒之千里之外。还有的人可能觉得这东西以后可能会替代自己，对自己的工作产生威胁等等，这里面可能有一些误解。当然本篇不会深入讨论这些问题，我认为AI一定会越来越普及，我们应该尽早的去面对AI普及带来的机遇和风险，如果AI真的对你的岗位存在威胁，那一味的远离可能会加速你被替代的时长！

所以本着打不过就加入的态度，我们应该积极的接触，应用，并驾驭AI，让他成为我们的工具，提高工作效率，而不是等着被替代！

这里，我想以一个小厂一线开发人员的视角出发，简单的聊一下，怎么快速的调教并构造出一个专属自己的大模型，也可以说是一个智能体（AI Agent）。

*部署模型

这里的部署，指的是，真正在服务器或者自己的机器上部署模型框架，目前这类方案跟多，大家可以自行gpt一下。

这不是本篇重点要聊的内容，我这里只简单介绍下Ollama，vLLM两个方向。

Ollama

Ollama最大的特点就是操作最简单，适合在自己的机器上操作，基本上有手就能操作。常用的命令我个人感觉和docker很像，只是把关键字换成ollama就行，比如拉取模型在ollama的命令就是

ollama pull xxx

其他的，大家看官方的文档即可

官网：ollama.com/

文档：github.com/ollama/olla…

vLLM

vLLM主要适合在服务器等生产环境部署，官网也提供了很多部署的路径，有基于GPU的，有基于CPU，还有基于NPU的，也提供了官方的docker镜像。

需要说明的是，vLLM本身是一个基于Python的库，也就是说它的上手门槛比Ollama高一些，但好在官方的文档给的非常具体，而且有专门的中文站点，如果有Python基础，上手部署也难度不大。感兴趣不怕折腾的小伙伴可以试试。

文档地址：vllm.hyper.ai/docs/

现在很多厂家推出了大模型一体机，配置给的都不低，单价基本在10w以内，比如MaxKB的一体机现在售价是3万一套，我感觉这也是私有化部署的一条路，有机房的话，一体机插到柜上就能用。

当然我没试过啊，但有同事说这东西不灵，说低于10w的配置都没法用，这个我就没办法验证了，我感觉这种一体机的思路挺好的，只要软硬件结合的好，一定是能大幅降低部署成本的。

构建专属模型&智能体

想要使用私有化的专属模型，一定要自己部署一套吗？

答案是否定的，只有部分的商用、政务等场景才需要真正部署私有化的模型，毕竟部署一套高可用的私有大模型，门槛还是挺高的，显卡，机柜等等硬件设备少说也得几十万起步。所以很多小厂在私有化大模型的选择上，还是走的租赁和MaaS的方案，这是现实原因，没得选。

那对于个人和用户量较少的企业用户来说，想要构造一个专属智能助手，还有没有更好的性价比方案呢？

我这里也推荐两个，分别是个人应用的AnythingLLM和适合小厂的MaxKb方案。

AnythingLLM

先奉上官方地址：anythingllm.com/

安装应用

它提供了基于Linux，Mac和Windows的客户端，我们可以根据自己的机器，下载对应的客户端安装即可。

安装流程和普通应用一样，装好后按提示进入软件即可！

如果大家完整看到它的安装流程，可以看到，它实际上也用到了Ollama的一些库，毕竟Ollama真的太方便了。

配置模型

按照引导，进入软件界面后，可以配置模型，可选的模型厂家包括，OpenAI，xAI，Azure，Deepseek等，这里我们选deepseek就好，如果你有其他厂家的key，选其他的也没问题。

选好之后，复制自己的APIKey到软件即可

创建工作区

工作区的概念每个人理解都不一样，我理解就是方便整理的，你可以把你的工作方向划分一下，创建不同的工作区，这样更加清晰。

非开发人员不了解的话，随便起个名字就好。

投喂训练

到此，基本的配置工作就完成了，我们可以上传本地的一些文档，图片等等，然后训练。

比如我这里准备一个本地工具的操作文档。我在投喂之前，先问他一个关于该工具的使用的问题，它的回答是这样的。

我投喂过这个文档之后，启动训练，结束后再次问同样的问题，他给我的回答就是基于该文档的内容了。

如果你是从事运营，产品，咨询，客服等需要对内部产品细节十分了解的岗位，或者就是普通用户，想更多的了解一些感兴趣的内容，借助这个软件，就可以定制一个专属的文档助手，不用再为繁杂的软件操作细节抓瞎，非常方便！

其他

除了提供基于桌面的应用，AnythingLLM也提供了云方案，同时也有本地部署的方案，和Ollama，vLLm的方向差不多，算是个全能型选手，感兴趣的可以参考一下官方文档（github.com/Mintplex-La…）的介绍！

MaxKb

简介

商用层面的话，MaxKb提供的解决方案我个人感觉还是挺清晰的，他们的产品有软件应用，有开发框架，还和主流云厂商做了对接，提供了便捷的插件，也有一体机这种硬件，关于更多他们的介绍，大家可以看一下它的官网：maxkb.cn/

本地部署

这里我主要聊一下本地部署MaxKb的RAG产品，开箱即用，非常方便。

官网提供了，离线，在线，阿里云，腾讯云，1panel，命令行这几种安装方式，我这里条件有限，就演示下在本地使用docker在线部署的方式。

首先根据文档确认下自己的机器是否满足安装条件，确认完成后，就可以拉取镜像安装了。

docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb

安装好后的效果如下

容器启动后，监听8080端口，可以直接在浏览器访问，之后使用默认的账号密码，就可以登录进来了。

实际上官方的文档也十分清楚，还是推荐看文档。

创建应用

后续的流程，实际上和AnythingLLM的逻辑差不多，也是先创建应用，然后绑定AI模型，MaxKb作为国产软件，对国产模型的支持度好很多。

而且，也支持本地模型。

这里，我绑定一个kimi的模型，其他道理一样，都是需要自己有一个APIkey。

其他参数可以先不管，去配置下知识库

配置知识库

配置知识库目的就是做检索增强（RAG），软件界面提供的操作流程也非常清晰方便，傻瓜式的按引导操作即可。

• 创建

• 上传本地文档

• 分段

• 训练

• 训练完成

关联知识库

回到刚才创建的应用上，如果刚才没有关联知识库的话，现在可以关联一下

测试

绑定完以后，可以在旁边的调试窗口，测试一下效果

可以看到，它的回答正是根据上传到知识库里的内容输出的。

保存发布

测试没问题以后，就可以发布应用了，注意，这个应用是我们自己训练的应用哟，虽然它的底座还是公有模型，但已经可以使用我们本地的私有数据了，而且，没有隐私安全问题。

发布之后，可以到概览界面，使用MaxKb为我们创建的url，这个就可以放到私有业务的系统里使用了。

嵌入第三方

它这里还提供了一个非常好的功能，叫做“嵌入第三方”，当我们把模型配置好以后，可以点击这个“嵌入第三方”按钮，复制他为我们生成的代码到我们已有的其他系统里，就可以很方便的使用这个私有模型了。

我随便找了个页面，放上他为我们生成的代码，效果如下，丝滑流畅~

其他智能体

构建专属智能体的方向，还有Dify，扣子等，这些就稍微有一点门槛了，当然他们的功能也更丰富一些，可以实现一些流程化的操作，不仅限于检索增强这种所见即所得的领域，感兴趣的可以了解下。

当然如果有开发基础，也可以开发构建更加契合业务需求的智能体。说到这，笔者之前也写过这方面的博客，如《再尝Semantic Kernel，planning特性很香》，大家可以去给捧个场哈哈。

而我刚介绍的方案基本都不太需要有开发基础就能上手掌握，尤其AnythingLLM，适用于绝大部分人。

结语

好了，基本就是这些啦，再推荐一本关于大模型的书，叫做《大模型导论》，希望AI时代，我们每个人都能找准自己的定位，利用好AI，增强自己，而不是被取代。 最后再多说一句，大模型飞速发展，存在信息差是肯定的，如果你真的不了解AI，短期内也不想了解，就不要轻易相信那些在你面前扯各种AI概念的人，尤其是不熟的人，现在这方面的诈骗也挺多的，保护好自己。

 这份《AI产品经理学习资料包》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以在文末CSDN官方认证二维码免费领取【保证100%免费】
资料包： CSDN大礼包：《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享

AI产品经理，0基础小白入门指南
作为一个零基础小白，如何做到真正的入局AI产品？

什么才叫真正的入局？

是否懂 AI、是否懂产品经理，是否具备利用大模型去开发应用能力，是否能够对大模型进行调优，将会是决定自己职业前景的重要参数。

你是否遇到这些问题：
1、传统产品经理

不懂Al无法对AI产品做出判断，和技术沟通丧失话语权
不了解 AI产品经理的工作流程、重点
2、互联网业务负责人/运营
对AI焦虑，又不知道怎么落地到业务中想做定制化AI产品并落地创收缺乏实战指导
3、大学生/小白
就业难，不懂技术不知如何从事AI产品经理想要进入AI赛道，缺乏职业发展规划，感觉遥不可及
为了帮助开发者打破壁垒，快速了解AI产品经理核心技术原理，学习相关AI产品经理，及大模型技术。从原理出发真正入局AI产品经理。

这里整理了一些AI产品经理学习资料包给大家
📖AI产品经理经典面试八股文
📖大模型RAG经验面试题
📖大模型LLMS面试宝典
📖大模型典型示范应用案例集99个
📖AI产品经理入门书籍
📖生成式AI商业落地白皮书

🔥作为AI产品经理，不仅要懂行业发展方向，也要懂AI技术，可以帮助大家：
✅深入了解大语言模型商业应用，快速掌握AI产品技能
✅掌握AI算法原理与未来趋势，提升多模态AI领域工作能力
✅实战案例与技巧分享，避免产品开发弯路

这份《AI产品经理学习资料包》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
资料包： CSDN大礼包：《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享

AI大模型学习福利
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

大模型&AI产品经理如何学习
求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程
网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击CSDN大礼包：《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享前往获取

3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以CSDN大礼包：《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享免费领取【保证100%免费】🆓