优化你的聊天机器人：无需用户反馈的智能评价策略

优化你的聊天机器人：无需用户反馈的智能评价策略

聊天机器人是大多数公司和开发者部署大语言模型(LLM)应用程序最常见的接口之一。然而，评估聊天机器人的质量并不是一个简单的任务，因为用户往往不愿意提供明确的反馈。本文将介绍一种基于用户追问的隐式反馈机制，帮助提升聊天机器人的性能。

引言

在多轮对话中，用户的后续提问可以有效地反映机器人先前响应的质量。然而，大多数场合，用户并不提供明确的反馈（如点赞或点踩）。为了解决这一问题，我们提出了一种基于用户追问的隐式评价机制，利用LangChain和LangSmith等工具来自动评估和优化聊天机器人的响应质量。

主要内容

LangChain和LangSmith简介

• LangChain：一个用于构建LLM应用程序的工具集，支持各种语言模型的开发和集成。
• LangSmith：用于捕获用户和模型辅助反馈的工具，大大提升LLM应用程序的调试和评估能力。

反馈稀缺性问题

大部分用户不愿意提供显式反馈，但多轮对话中的用户追问可以成为推断机器人回应质量的重要线索。以Chat Langchain为例，尽管只有0.04%的查询收到显式反馈，约70%的查询属于前序问题的追问。通过分析这些追问，我们可以推断先前AI响应的有效性。

自定义评估器的实现

我们可以通过自定义RunEvaluator来进行隐式反馈分析，具体实现如下：

my_chain.with_config(
    callbacks=[
        EvaluatorCallbackHandler(
            evaluators=[
                ResponseEffectivenessEvaluator(evaluate_response_effectiveness)
            ]
        )
    ],
)

此评估器会使用gpt-3.5-turbo模型，根据用户的后续响应评估之前机器人的消息。它生成一个评分及其理由，并在LangSmith中转换为反馈。

代码示例

以下代码展示如何调用聊天机器人，并进行两轮对话评估。

from functools