现在AI模型很多,我曾经就分享过产品经理还是停留在API调用上,都没有亲自去在AI模型的参数、研发上做自己的二次开发。
因为我带着团队正在完成云木鸟新媒体伴侣的AI公众号排版,所以我们就选了一个能够支持若干API对接的AI模型管理工具:dify
也就是这段时间我几乎花了一周的时间来完成dify的部署、知识库训练以及任务流的搭建,还在进行中。
上面我分享过6个AI模型管理工具,这些模型工具是开源的,针对对话、企业开发、以及个人知识库的使用,有各自的擅长点。
如果一点都没有开发能力,想简单粗糙的使用那么就使用anythingllma即可,傻瓜即可用,但是无法二次开发。
作为产品经理显然是要开发的,那么就离不开API接入了,比如现在支持如下对话型应用API,就是DIfy支持的接口调用与监控。包括还有各类Wikipedia手册支持调试。
而如果要完成自己的开发,我们选择DIFY,还有一个重要原因是其开源的外,每个封装的应用都支持各类API的接入以及配套的开发与调试套件。
DIFY提供了每个AI应用的日志监控与标注,方便随时了解自己组件的agent应用能力的使用情况与并发数,做好数据分析。
比如我们创建的公众号排版agent,就可以用dify作为基座来完成排版,这些公众号排版的格式本身就是一堆HTML和CSS,所以就可以自己先利用dify实现公众号编排,再将这个机器人封装为API提供给我们的系统即可使用。
而产品经理除了设计其产品原型设计,还有设计任务以及提示词,才能够完成机器人可以用。
只有当agent可用了之后,才能说可以将其封装成一个API给到自己系统进行集成
并在dify创建的时候,除了多个类型的应用可以选择,从最简单的工作流、到agent、到其他工具,每一个都可以作为一个单独的API进行封装。
如上我用chatflow搭建了一个知识库工作流,其中AI模型的处理节点与知识库工作内容都可以用以dify为基础开始建设。
在DIFY,我们可以放心的创建自己工作流程,这种AI任务工作流程是可以支持若干外部工具的以及自己企业应用调用
工具调用几乎能够实现其他工具调用,从文字转声音到声音转文字都支持
使用DIFY之前,是需要你要有这样的模型,比如我们这里有声音转文字的模型,因为我还没有下载,所以无法选择。
本地化部署dify就需要相当多的显存可以使用,从现在的模型来看,要想使用DEEPSEEK V3、R1、以及llama或阿里同义千问至少要准备1TB的显存才可以使用,而现在在显卡如此昂贵的情况下这个还是有限制。
从科研的成本来看,调用API是最快的,但是也不最佳选择。加上如果像我们这样做医疗方面,数据的安全性也更加重要,所以API并不合适。
API的调用就涉及到对这些API进行付费,当然现在也有聚合的API的方式,但是要想分类调用模型就不太现实了。
Dify的测试,就是AI产品模型需求测试
在Dify里面有若干的测试参数选项,如下是这些参数的选择
这些都是我们可以针对其AI模型的参数进行调整,让AI产品经理即使不会Python开发,也能够手动微调模型。
后续会单独针对这些参数的配置分享我们在做产品设计中的技巧。
目前Dify支持多个工具的应用创建,包括聊天助手、流程、机器人、多个机器人的方式。
工具从通用的到进阶用户,学习dify的各个工具使用,还要关系到提示词的使用,可以配置其中的关键词与输入内容。
如下是模型设置,有多个参数可以选择,可以让其任务流的控制更加精准
在dify上我们可以支持调用查询、对话、用户ID以及文件等若干属性来完成任务流的创建,相比直接粗的文本输入,精细化的变量参数更加可以控制模型的生产力。
用Dify和直接用原型做AI产品设计的区别
可以这么说,Dify是AI产品经理的模型需求内核,配装构建出能够使用的AI任务流以及AI模型机制,才能够说界面与交互长什么样子。
而界面长什么样子并不困难,这都是前端工作,而让AIagent实现对应的结果,除了配置任务流还有提示工程、还有知识库都需要进行建设。
产品经理的工作就变得非常具体了。
Dify支持市面上众多的开源或闭源模型,这种建设框架其实也是AI产品经理要推崇的,也就是不管你AI模型是哪一个,我的产品框架不变,更换API即可,从而不影响我的用户使用。
而要训练成为这种产品设计框架,dify的配置与应用的创建必不可少。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。