API Is Enough: Conformal Prediction for Large Language Models Without Logit-Access

本文是LLM系列文章，针对《API Is Enough: Conformal Prediction for Large Language Models Without Logit-Access》的翻译。

摘要

这项研究旨在解决在没有logit访问的情况下量化大型语言模型（LLM）中的不确定性这一普遍挑战。共形预测（CP）以其模型不可知和无分布的特性而闻名，是各种LLM和数据分布所需的方法。然而，LLM的现有CP方法通常假定可以访问logits，而这对于某些仅限API的LLM是不可用的。此外，已知logits校准错误，可能导致CP性能下降。为了应对这些挑战，我们引入了一种新的CP方法，该方法（1）适用于没有logitaccess的单API LLM；（2） 最小化预测集的大小；以及（3）确保用户定义的覆盖范围的统计保证。这种方法的核心思想是使用粗粒度（即样本频率）和细粒度的不确定性概念（例如语义相似性）来制定不一致性度量。在封闭式和开放式问答任务上的实验结果表明，我们的方法在很大程度上优于基于logit的CP基线。

1 引言

2 共形预测的前言

3 方法

4 实验

5 相关工作

6 结论

我们研究了无登录访问的无API LLM的CP的关键问题。我们提出了一种新的解决方案，通过利用来自不同来源的不确定性信息来定义不合格评分函数。特别是，在有限的采样预算下&