超级会员免费看
本文介绍了GPTCache的性能测评，通过实验展示了其在区分相关和不相关查询上的有效性，达到近50%的命中率。GPTCache已应用于OSSChat并计划接入更多LLM模型和向量数据库。
为评估 GPTCache 的性能，我们选取了一个数据集，其中包含三种句子对：语义相同的正样本、语义相关但不完全相同的负样本、语义完全不相关的中间样本。
MODAHUB让AI模型应用落地更简单
实验 1
为了确定基线（baseline），我们先将 30,000 个正样本的键存入缓存中。接下来，我们随机选择 1,000 个样本，并使用对应的另 1,000 条句子（句子对中的另一个句子）作为查询语句。
以下是我们获得的结果：
我们发现，将 GPTCache 的相似性阈值设置为 0.7 可以较好地平衡命中率和负相关比率。因此，所有后续测试中都会应用这个设置。
用 ChatGPT 生成的相似度分数来确定缓存的结果是否与查询问题相关。将正样本阈值设置为 0.6，使用以下 prompt 生成相似度分数：
（注：以上 prompt 为中文翻译。原文请见：https://zilliz.com/blog/Yet-another-cache-but-for-ChatGPT）
实验 2
进行包含 50％ 正样本和 50％ 负样本的查询，在运行 1,160 个请求后，产生了如下结果：
命中率几乎达到了 50％，命中结果中的负样本比例与实验 1 相似。这说明 GPTCache 善于区分相关及不相关的查询。
目录
订阅专栏 解锁全文
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
