生成式人工智能的设计模式全介绍-干货

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

在人工智能领域，我们总是寻找一些经过验证的方法、途径和模式来构建新事物。这一点对软件工程师来说尤为重要，但对于生成式人工智能和人工智能本身而言，情况可能并非如此。随着像生成式人工智能这样的新兴技术的出现，我们缺乏良好记录的模式来支撑我们的解决方案。

在这里，我分享了一些生成式人工智能的方法和模式，这些都是基于我对大量生产实施的大型语言模型的评估。这些模式的目标是帮助缓解和克服生成式人工智能实施中的一些挑战，如成本、延迟和幻觉。

模式列表：
- 分层缓存策略引导至微调
- 为专家小组复用人工智能代理
- 多任务微调大型语言模型
- 基于规则与生成式的融合
- 利用知识图谱与大型语言模型
- 生成式人工智能代理群
- 具有可组合性的模块化单体大型语言模型方法
- 针对大型语言模型的记忆认知方法
- 红蓝队双模型评估

1) 分层缓存策略引导至微调

这里我们解决了从成本、冗余到训练数据等一系列因素，当引入缓存策略和服务到我们的大型语言模型时。

通过缓存这些初步结果，系统能够在后续查询中更快地提供答案，提高效率。一旦我们有了足够的数据，微调层的转折点出现了，这些早期互动的反馈被用来精炼一个更专业的模型。

这个专业模型不仅简化了过程，而且还将人工智能的专业知识定制到特定任务上，使其在需要精确性和适应性的环境中非常有效，如客户服务或个性化内容创建。

要开始，有预构建的服务如GPTCache，或者你可以自己动手，使用常见的缓存数据库如Redis、Apache Cassandra、Memcached。确保你在添加额外服务时监控和测量你的延迟。

2) 为专家小组复用人工智能代理

想象一个生态系统，多个面向特定任务（“代理”）的生成式人工智能模型，每个都是其领域内的专家，它们并行工作以应对一个查询。这种复用策略使得可以提供一套多样化的响应，然后集成以提供全面的答案。

这种设置是复杂问题解决场景的理想选择，其中不同的问题方面需要不同的专业知识，很像是一个团队的专家每个人都在处理一个更大问题的一个方面。

一个更大的模型，如GPT-4，用来理解上下文并将其分解为特定的任务或信息请求，这些请求传递给较小的代理。代理可以是小型语言模型如Phi-2或TinyLlama，它们已经在特定任务上受过训练，可以访问特定工具或具有特定个性、上下文提示和函数调用的通用模型如GPT、Llama。

3) 多任务微调大型语言模型

这里我们同时对一个大型语言模型进行多任务微调，而不是单一任务。这是一种促进知识和技能在不同领域之间强大转移的方法，增强了模型的多功能性。

这种多任务学习特别适用于需要高度胜任多种任务的平台，如虚拟助手或AI驱动的研究工具。这可能会简化复杂领域的训练和测试工作流。

一些用于训练大型语言模型的资源和包括DeepSpeed，以及Hugging Face的Transformer库上的训练函数。

4) 基于规则与生成式的融合

许多现有的商业系统和组织应用仍然在某种程度上是基于规则的。通过将生成式与基于规则的逻辑的结构化精确性融合，这种模式旨在产生既创造性又符合规定的解决方案。

这是一个强大的策略，适用于输出必须遵循严格标准或规定的行业，确保人工智能在保持创新和参与性的同时仍然在期望参数的范围内运行。一个好的例子是为电话呼叫IVR系统或传统（非大型语言模型基础的）聊天机器人生成意图和消息流，这是基于规则的。

5) 利用知识图谱与大型语言模型

将知识图谱与生成式人工智能模型整合，赋予它们以事实为导向的超能力，允许输出不仅在上下文上有意识，而且在事实上更加正确。

这种方法对于真相和准确性不容妥协的应用至关重要，如在教育内容创建、医疗建议或任何

误信息可能产生严重后果的领域。

知识图谱和图本体（图的概念集）允许将复杂主题或组织问题分解成结构化格式，以帮助为大型语言模型提供深入的上下文。你还可以使用语言模型以JSON或RDF等格式生成本体，例如我创建的示例提示你可以使用。

你可以使用的知识图谱服务包括图数据库服务如ArangoDB、Amazon Neptune、Azure Cosmos DB和Neo4j。还有更广泛的数据集和服务用于访问更广泛的知识图谱，包括Google Enterprise Knowledge Graph API、PyKEEN数据集和Wikidata。

6) 生成式人工智能代理群

这个模型从自然群体和群落中汲取灵感，采用大量人工智能代理共同解决问题，每个代理贡献独特的视角。

结果汇总的输出反映了一种集体智能的形式，超越了任何单个代理所能达到的。这种模式在需要广泛创造性解决方案的场景中特别有优势，或者在处理复杂数据集时。

这可以是从多个“专家”的角度审查一篇研究论文的例子，或者从欺诈到优惠的多种用例同时评估客户互动。我们将这些集体“代理”和他们的所有输入结合在一起。对于高容量群体，你可以考虑部署消息服务如Apache Kafka来处理代理和服务之间的消息。

7) 具有可组合性的模块化单体大型语言模型方法

这种设计提倡适应性，具有一个可以动态重新配置自身以实现最佳任务性能的模块化人工智能系统。它类似于拥有一把瑞士军刀，每个模块都可以根据需要被选择和激活，使其对于需要为不同客户互动或产品需求提供定制解决方案的企业非常有效。

你可以部署使用各种自治代理框架和架构来开发你的代理及其工具。示例框架包括CrewAI、Langchain、Microsoft Autogen和SuperAGI。

对于一个销售模块化单体来说，这可能是专注于潜在客户开发的代理，一个处理预订的代理，一个专注于生成消息的代理，以及另一个更新数据库的代理。将来随着特定服务从专业人工智能公司提供，你可以为给定的任务集或领域特定问题替换一个模块为外部或第三方服务。

8) 针对大型语言模型的记忆认知方法

这种方法为人工智能引入了类似人类记忆的元素，允许模型回忆并建立在以前的互动上，以获得更细腻的响应。

它对于持续的对话或学习场景特别有用，因为人工智能随时间发展获得了更深刻的理解，很像一个专 dedicated 的个人助理或一个适应性学习平台。记忆认知方法可以通过总结并随时间将关键事件和讨论存储到向量数据库中来开发。

为了保持总结的计算量低，你可以利用较小的NLP库如spaCy，或者如果处理大量数据，则使用BART语言模型进行总结。使用的数据库是基于向量的，且在提示阶段检索短期记忆时使用相似性搜索来定位关键“事实”。对于那些对工作解决方案感兴趣的人，有一个遵循类似模式的开源解决方案叫做MemGPT。

9) 红蓝队双模型评估

在红蓝队评估模型中，一个人工智能生成内容，而另一个批判性地评估它，类似于严格的同行评审过程。这种双模型设置非常适合质量控制，使其在内容生成平台中非常适用，这些平台的可信度和准确性至关重要，如新闻聚合或教育材料生产。

这种方法可以用来替代复杂任务的人类反馈的部分，用一个微调模型来模仿人类审查过程，并精炼结果，以评估复杂语言情景和输出。

总结
这些生成式人工智能的设计模式不仅仅是模板；而是智能系统未来成长的框架。随着我们继续探索和创新，很明显我们选择的架构不仅定义了人工智能的能力，还定义了我们创造的人工智能的真正身份。