【人工智能时代】- 大模型应用的 10 种架构模式

在塑造新领域的过程中，我们往往依赖于一些经过实践验证的策略、方法和模式。这种观念对于软件工程领域的专业人士来说，已经司空见惯，设计模式已成为程序员们的重要技能。然而，当我们转向大模型应用和人工智能领域，情况可能会有所不同。面对新兴技术，例如生成式 AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。

作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。

1. 路由分发模式

当用户输入一个查询时，该查询会被发送到控制中心，而控制中心则扮演着对输入进行分类的角色。

如果查询是可以识别的，那么它会被路由到小语言模型进行处理，这通常是一个更准确、响应更快且成本更低的操作。然而，如果查询无法被识别，那么它将由大型语言模型来处理。尽管大型语言模型的运行成本较高，但它能够成功返回更多种类型查询的答案。通过这种方式，人工智能产品可以在成本、性能和用户体验之间实现平衡。<