评估大语言模型的7大指标

自然语言处理（Natural Language Processing）领域在大语言模型（LLM）的使用下迅速发展。因为其出色的文本生成和理解能力，LLM 已在全球范围内得到广泛应用。

ChatGPT可能是这些大模型中最出名的一个，在首个月内就拥有了5700万活跃用户1。ChatGPT在许多场景下都展现出了强大的能力，但同时也面临着巨大的挑战，例如容易产生幻觉，生成带有偏见或有害的内容2,3。另一个挑战是如何确保对模型行为和性能的可观测和监控能力——随着用户反馈的快速收集，ChatGPT 正在通过 RLHF（基于人类反馈的强化学习）进行持续的再训练和改进4，因此对其性能和行为的评估也需要持续跟进和调整。众所周知，使用 RLHF 可能导致特定任务的性能下降5。我们如何才能确保模型的表现符合预期，并在与我们的应用相关的任务中获得良好的性能？

在本文中，我们将讨论七组可用于跟踪 LLM 行为的指标。本文将对ChatGPT 在 35 天内对一组固定的 200 个 Prompt 所做的回答计算这些指标，并跟踪 ChatGPT 在这段时间内的行为变化。本文的重点任务将是长文本问答，将使用 LangKit 和 WhyLabs 来计算、跟踪和监控模型在一段时间内的行为。

可在 WhyLabs[1] 中查看监控结果，也可在此[2]查看本文相关代码。

01 The task — 可理解问题的解答
在本例中将使用 Explain Like I