《向量数据库指南》——GPTCache 中的温度参数

目录

GPTCache 中的温度参数

a. 从多个候选答案中随机选择

b. 调整概率跳过缓存，直接调用模型

---

• GPTCache 中的温度参数

 

为了平衡响应的随机性和一致性，并满足用户偏好或应用需求，在多模态 AI 应用中选择适当的温度参数值至关重要。GPTCache 保留了机器学习中温度参数的概念，在使用 GPTCache 时，可以选择以下 3 个选项来调节温度：

 

a. 从多个候选答案中随机选择

 

在深度学习中，对模型最后全连接层的输出使用 softmax 激活函数是一种常见的技术，其中涉及到了温度参数。GPTCache 类似地使用 softmax 函数将候选答案的相似性得分转换为概率列表。得分越高，被选为最终答案的可能性就越大。温度控制可能性分布的尖锐度，更高的温度意味着得分较高的答案更可能被选中。GPTCache 中的后处理器 “temperature_softmax” 遵循此算法，给定候选答案与相应的得分或置信度，选择一个最终答案。