一文带你看懂并优化AI应用的架构设计

基本架构

假设有这样的一个Web应用：

在两个文本框中输入两个“对手”，随后由AI来决定在战斗中谁会获胜。该应用还提供了一些解释决策原因以及创建图像的选项。该应用相当基础，用户提交两个对手，然后应用程序即时返回一个由AI生成的响应，从中得知哪个对手会在战斗中获胜。

架构也很简单：

1. 客户端向服务器发送请求。
2. 服务器构造提示并将提示转发给OpenAI。
3. OpenAI向服务器返回一个流式响应。
4. 服务器对流式响应进行任何必要的调整，并将其转发给客户端。

该应用搭建在Akamai的云计算服务（以前的Linode）上，不过下文将要介绍的内容对任何云平台应该都适用。

看起来像是高级餐厅里的服务员， ️ ️则是“一只眼睛”，或者说是AI

从技术上讲，这是完全可行的，但存在一些问题，特别是当用户提交重复请求时。将响应存储在我们自己的服务器上，并且只针对唯一请求访问OpenAI，可能会让整个过程更快速，更具成本效益。

这就需要假设我们不需要每个请求都是非确定性的（