论文笔记：Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs

iclr 20124 reviewer 打分 5568

不需要微调来激发LLMs置信度表达的方法

1 方法

1.1 不同的 prompt

1.2 不同的采样策略

• 可以采用多种方法从模型中引出同一个问题的多个回答：
  • 自我随机
    • 通过多次输入相同的提示，利用模型内在的随机性
  • 提示
    • 通过以不同方式改述问题来生成多个回答
  • 误导
    • 向模型提供误导性线索，例如，“我认为答案可能是...”。
    • 这种方法受到人类行为的启发：当有信心时，个体倾向于坚持他们的初步答案，尽管有相反的建议；相反，当不确定时，他们更可能根据误导性提示犹豫或调整他们的回应。
    • 

1.3 聚合策略

一致性策略、平均置信度、对排名

2 实验