GPT 大模型应用开发概览

随着大模型的风靡，越来越多的企业希望使用大模型来提高自己的服务能力，即在自己的软件中集成大模型的能力，希望让大模型解决一些特定的问题。

大模型的应用开发，其本质上是提示词工程，如何组好提示词，直接决定了整个应用的最终能力。

说到提示词，首先就是常规的提示词技巧。需要认识到的是大模型是整个人类历史知识的集大成者，当然这里说的是通用大模型设计目标。

大模型整体分析

大模型掌握了几乎所有领域的知识，从另一个角度上来说，我们不能先入为主的认为，你现在需要解决A问题，它直接扮演的就是A问题的专家，所以你需要指定它现在扮演的角色。

其次，历史知识的集大成者，因为是历史知识，因此回答不了新出现的知识，比如上了一个新药，然后你去问这个新药的知识，那是得不到想要的结果的。

再次，模型的训练使用的是公开的数据，企业或个人的私有数据知识是不具备的，比如你想做一个企业软件的在线顾问，那么你的企业软件到底是什么，你的软件本身知识，它是无法回答的。

最后，随着大模型的使用，我们需要解决特定的任务，很多时候会希望模型在回答一些问题的时候，我们希望回复中加入业务入口，包括生成业务参数，比如订票等。

另外，涉及到企业数据安全的，就需要模型支持本地化部署，而不是给各大大模型公司无偿提供语料贡献，泄密企业机密。

大模型使用领域知识

让大模型打破历史知识的限制，现在有3个办法：

1、模型微调，也就是说拿新的知识进行模型的二次训练；

2、选择专有模型，从已有的市场上选择已经经过微调的模型；

3、使用提示词技术，将相关的知识检索出来（现在主流的做法是分词后放入向量数据库，使用时使用向量相似度检索相关知识），放在提示词中，主动给大模型提供知识。

大模型与应用集成

应用集成时，无法单纯使用模型输出的对话文字来进行应用的二次集成开发，此时有两个方法：

1、提示词中说明输出格式，应用使用特定格式来解析后进行二次处理，比如规定输出什么内容，格式是什么样的，类型是什么；

2、使用function call机制，让模型来选择后续调用的函数和生成函数参数，通过函数描述，让模型自动选择调用哪个函数。

相关难点

难点一：选择基础模型，需要根据业务情况，考虑模型规模、模型类型，当然微调还需要考虑计算投入；

难点二：数据准备，不管是微调模型还是检索方案，都需要准备语料，数据的预料准备、导入、检索都需要花费大量的精力；

难点三：效果评估，很难通过有效的方式一次性评估模型，达到业务预期，这个时候就需要长期的记录、跟踪，不断进行优化。

关于智能体

智能体目前的机制，其实就是定义标准的SOP，通过不同的角色定义，利用大模型分别进行内容输出，以拼凑出一个完整的系统化结果。

本作品的版权所有权归作者所有，受法律保护。未经作者书面许可，任何个人或组织均不得以任何形式使用、复制、修改、传播、展示或在未获得授权的情况下进行商业利用。