前言
目前大模型能达到的场景和优化的效果,基本上能达到专家的效果。在微调试下回复和表达可以已经可以达到中高级产出,这里主要针对的是行业深度场景结合的设计方案。
概述
这里的设计原则依然是定位在辅助人的角色上,核心节点需要人工的确认。目前遇到的或是可以看到的基本上很多是概念视频展示不做结合参考,以市面上结果稳定输出的大模型为主。
在结合,某一行业或是场景上,需要比较大的定制化和数据调试,有成本的投入可以是三方或是自己训练行业针对性的场景,这个的成本不言而喻,中小团队无法或是很难承接。
针对这样的情况,通用大模型已经具备很强的推理能力,结合的这个来做针对话的业务场景定制,一个是降低成本,简单可维护,以提高落地能力。
阐述从这几个维度进行,分别是【业务_智能体_产品_原型】这样的思路:
1. 业务场景结合设计方案
2. 定制化智能体自我演化方案
3. 智能体产品设计方案
4. 通用智能体平台产品化演示
不同的接触层面会带来不一样的设计思路, 技术需要结合场景才有更大的意义和价值体现,每个设计人员思路不一,我有我思。
场景结合
业务本身的探索已经有多个不一样的团队在探索有很多年,一个是对行业和先前人员的努力的敬畏,结合这块并不是说要取代,而是进一步的加强,利用新技术提高和加强行业产品的服务和质量。
业务场景结合设计方案
以下是整体的业务赋能设计方案,以智能体结合业务整合作为基本设计方向:
整体的流程说明和过程设计,这里从上到上的分析:
-
数据采集层:这个是企业或是团队的核心,也是输出推理结果的主要推理数据来源,数据的采集不仅是互联网还有团队经验,这些会形成特有的知识库;
-
数据治理层:这些服务从数据治理的角度支持了数据的标准化、集成、开发和实时处理,确保了数据在整个生命周期内的质量、一致性和可用性,从而提升了智能体决策的准确性和业务运营的效率。
-
智能体推理层:逻辑推理是大模型的优势之一,在大部分情况下,数据加上大模型推理会给出很理想的结果建议和方案,会比人工快得多,针对每个不一样的业务流程节点上,针对性的定制化不同业务场景的智能体,由数据采集再到逻辑的推理,给出初步的结果方案或是执行方式;
-
业务逻辑层:以基础的智能体平台为依托,它是一个类似于员工的角色来不停的为业务的每个节点切入,不停的在业务里面深入了解和学习,还有不停的进行执行。
我们可以把上面的过程理解成雇佣关系,岗位上不停的招聘工作人员。这里的流水线就是业务场景,人员是智能体员工,它会一直吸收经验和不停作业,团队不停的招聘智能体员工,通过不断优化和增加智能工具,可以达到更高效的工作流程,直到这里的项目上最快最好的输出。
解放出来的人力就可以更加深入流程和场景结合,进一步的提高服务和产出质量。
比如工程师在开发一个功能,在设计阶段的思路提交给大模型,它就能给你产出各个模块的代码,然后我再拼凑,效率和质量都不错。这样的过程你会发现,你会更加专注于设计思考,而不是编码上。难道还为变量命名、接口测试数据、单元测试、注释等这些烦恼或是思考?工程师能够更专注于设计和创新,从而提升开发效率和代码质量,减少低级错误和重复工作。
定制化智能体自我演化方案
假如我们发现智能体员工可以处理一部分工作,那要怎么建立智能体。目前很多平台都有智能体,比如星火、千问等,你会发现做一个智能体很简单,定义Prompt场景和投喂数据。
目前的大模型发展上面,推理能力成熟度比较高,主要在数据上的清洗处理。我们要给智能体对应的感知能力,推理能力还有执行,仅仅是简单的向量数据是不够的。另外数据质量要求,大模型本身的限制等都是问题。
数据的采集也包含很多,包括网络的,视频,音频,日志,行为,企业数据等多种感知数据,这些过程再进一步交互采集和加工处理,针对特定数据处理,形成智能体的数据资产。
在业务逻辑上需要的是更稳定、更可控的结果。包括记忆能力,分析和自动的结合,以下为智能体演化的过程:
设计说明:
-
数据清理:针对性的智能体员工,所采集的数据,质量,检索等都需要比较高的要求,这就对数据治理上,数据服务还有分类上面下点功夫,幸运的是,行业数据治理给了很好的基础,这个应该来说问题不大。
-
分析能力:分析逻辑推理这个是大模型的强项,过程规避掉针对性的模型训练,使用通用大模型解决这个分析推理的问题,通过数据挖掘和推理,获取到我们想要的计划和执行要求。
-
执行能力:执行过程工具比较多,这个也是基于研发技术,属于比较成熟的方式,结合业务场景做开发调用即可。
-
记忆反思:在这个过程,所以的问题和记录,三方感知等会进一步的消化成经验数据,进行总结和为下一次执行做好基础,而不是海量知识库,提炼出精准知识库,为智能体发展作准备。
在这个过程你会发现,演化体系会慢慢形成,而通用大模型不断发展,也会有更好的推理能力,两者结合起来,形成特定的智能体员工,不断的积累加深。
比如写方案的场景,制定出方案目录编辑的智能体员工,专门针对不同的主题,场景定制方案目录。在初期第一个方案目录出来之后,不断的人工确认评审,修改意见收集,这些都会形成数据经验不断的积累。
下次再写类似场景方案,可以直接出对应的结果,规避掉前期的低级错误和问题,包括一些特定的要求等。
智能体产品设计方案
结合上面的设计方案,针对性的整理出来的智能体产品设计。这里产品设计思路,只要包括几个点,实现功能数据采集、处理、推理、服务、运维、运营等一套智能体平台产品,需要的是可结合生产实践的平台。
目标也是针对于中小型团队的产品能力,低成本,可维护,能落地,能见效果。以下为产品的设计方案图:
设计描述,这里从上到下的进行产品说明:
-
数据处理层,这里可以立即成感知服务,用于多平台数据的收集,接入,清洗,分析,资产,服务等,相对来说,基本上属于中小团队的数据方法论实现。
-
模型推理层,大模型的接入,还有prompt的管理优化,流程管理,智能体管理,多智能体交互,还有数据接入验证等,数据标注等一套标准平台。
-
软件开发层,可以理解成开发层的内容,包括不限于平台的开发,接口开发调用等,主要提供软件和执行层的技术规范和方案。
-
运营管理层,整个平台的管理体系,比如各个节点的管理和SaaS化,对人员提供产品力的表现,对整体智能体平台的管理。
以上是智能体平台的产品设计和研发过程总结,这个也是在研究智能体过程中的实践总结。
拿一个上面写目录的智能体来说例子,收集数据的来源可以是团队内部的规范和要求,另一个是会议纪要和记录,这些通过采集之后进入到数据仓库,在进一步的分析得到数据资产和服务,形成一个简单的DataOps流程。
在逻辑推理部分获取到特定的目录结果和数据格式,这些就是出来的版本。有了目录的数据针对性的开发出模版解析能力和工具,生成文档目录结构,输出发给对应人员,人员可以进一步的审批验证完善等。这些过程智能体平台会记录,进一步记录分析形成经验记录。
以下为多Agent协作的设计思路:
当然,也可以考虑建立一个是审核的智能体角色。
通用智能体平台产品化演示
以下为智能体平台产品的原型设计,前期是一边设计一边编码,大部分也是使用AI开发,这个过程你会发现,效率会快很多,基本上所想即所得的代码。
- 智能体门户设计,包含管理入口,SaaS化管理和组织管理。
- 推理管理平台,形成模型的管理和角色推理逻辑和分析。
- 数据治理体系,针对于中小型团队的数据治理方法论的落地和实践。
- 数据资产服务,提供数据资产管理和服务管理。
- 软件开发体系,技术研发框架和自动化设计。
这些整合在一起,主要是形成一个平台管理的概念,一套SaaS来进行管理。过程设计每个模块会设计成单独的服务,也就是这样的,方便形成积木类似的软件组合,其他缺少的,按接口和规范引入即可。
以下为智能体团队:
每个产品设计人员和架构师有不同的见解和思路, 这里针对的是中小团队,低成本,方便维护为主。针对结合数据整合模块,进行数据元数据和主数据的抽取上报,集中到数据仓库和数据湖,形成数据资产能力。平台能力和业务架构的体现从开放平台和新平台对外门户,形成行业业务+智能体团队沉淀,形成核心业务能力资产
同时相比于传统人员,智能体员工在业务场景中的优势包括:
-
专注复杂任务:使人类工程师能够更多地专注于创造性和战略性的任务,而不是日常的重复性工作
-
高效率:智能体可以快速处理大量任务,不受时间和体力限制,能够24/7不间断工作。
-
一致性:智能体执行任务时能保持高度一致,减少了人为因素导致的误差。
-
学习与优化:智能体能够通过机器学习不断提高自身性能,优化工作流程。
-
成本效益:一旦部署完成,智能体的边际成本较低,长期来看可以节省人力成本。
-
可扩展性:可以根据需求轻松增加或减少智能体的数量,灵活应对业务量的变化。
-
减少人为错误:避免了因疲劳、疏忽等人类常见原因导致的错误,提高了工作的准确性。
通过高效、一致且持续优化的工作特性,能够在降低成本的同时提升业务处理的速度和准确性,使人类工程师更专注于创造性任务。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。