大模型置信度评估问题（持续更新）

OpenAI GPT 模型 API 接口新增参数 top_logprobs 和 logprobs

一、简单介绍

官方文档地址：https://platform.openai.com/docs/api-reference/chat/create

• logprobs：是否返回 output tokens 的对数概率（布尔类型，默认为 False）。如果为真，则返回消息内容中返回的每个 output token 的对数概率。目前 gpt-4-vision-preview 模型还不支持此选项。
• top_logprobs：一个介于 0 到 5 之间的整数，指定在每个 token 位置返回最有可能的 tokens，并且每个 token 都有一个关联的对数概率。如果使用了这个参数，logprobs 就必须设置为 True。

显然，这两个参数被设计为协同工作。理论上，调整 top_logprobs 和 logprobs 不应导致输出的 tokens 数量增加，从而避免了额外的 API 调用成本。