UCB：基于事后重构的强化学习优化对话agent

📖标题：Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations
🌐来源：arXiv, 2411.05194

🌟摘要

🔸大型语言模型（LLMs）的最新进展使对话代理能够生成高度自然和合理的文本。然而，目前的LLM语言生成侧重于用一个有效的答案准确地回答问题和请求。事实上，许多真实的对话都是互动的，这意味着代理人的话语会影响他们的对话伙伴，引出信息，或改变他们的观点。在从医疗保健到偏好诱导的许多对话任务中，解释代理如何有效地引导对话是一项至关重要的能力。现有的微调对话代理以完成此类任务的方法将依赖于整理一定数量的专家数据。然而，要做到这一点，通常需要了解对话伙伴的潜在认知过程，这是人类和接受过人类数据训练的LLM都无法可靠做到的技能。
🔸我们的关键见解是，虽然LLM可能不擅长在事前或正在进行的对话中确定有效的对话指导策略，但他们可以在事后或事后看到对话伙伴的反应后这样做。我们利用这一事实重写和增强现有的次优数据，并通过离线强化学习（RL）训练出一个在提示和从未改变的人类演示中学习方面都表现出色的代理。
🔸我们将我们的方法应用于两个需要了解人类心理状态、智能互动和说服的领域：心理健康支持和慈善捐款。我们在一项针对真实人类的用户研究中的结果表明&#x