CPsyCoun: A Report-based Multi-turn Dialogue Reconstruction and Evaluation Framework for Chinese Psy

摘要 使用大型语言模型（LLM）辅助心理咨询是当前一项重要而又具有挑战性的任务。人们试图利用大型语言模型来改善共情对话或充当治疗中的有效助手。然而，现有的数据集缺乏咨询知识，导致LLM缺乏专业的咨询能力。此外，如何在咨询过程中自动评估多轮对话仍然是一个研究不足的领域。为了弥补这一空白，我们提出了CPsyCoun，一个基于报告的中文心理咨询多轮对话重建和评估框架。为了充分利用心理咨询报告，我们设计了一种两阶段方法来构建高质量的对话，同时开发了一个全面的评估基准，以有效地自动评估多轮心理咨询。
有竞争力的实验结果证明了我们提出的框架在心理咨询中的有效性。我们开源数据集和模型以供将来研究。1

1 Introduction 简介

“没有心理健康就没有健康”已不再只是一句口号，全球约 14% 的疾病负担归因于神经精神疾病（Prince 等人，2007 年）。尽管许多心理健康治疗价格实惠且有效，但有需要的人和能够获得治疗的人之间仍然存在巨大差距（Freeman，2022 年）。世界卫生组织 (WHO)不断倡导增加投资以增进理解并消除与精神疾病相关的耻辱感。然而，确保精神疾病的优质、负担得起的护理的挑战仍然十分艰巨。因此，确定新疗法和增强所有精神疾病的现有疗法是研究领域的关键目标。
自然语言处理 (NLP) 社区正在积极促进人工智能辅助心理咨询和治疗的发展。已经提出了各种研究课题来进行精神疾病咨询 (Orr 等人，2022 年；Toleubay 等人，2023 年)、提高情感支持能力 (Buechel 等人，2018 年；Rashkin 等人，2019 年；刘等人，2021 年；程等人，2023 年) 和提供在线心理咨询 (Sun 等人，2021 年)。ChatGPT 2 和 LLaMA（Touvron 等人，2023 年）等大型语言模型 (LLM) 的出现，激发了更多研究工作，不仅要产生富有同理心的对话，还要将其作为治疗辅助工具和有效的治疗助手。例如，Psy-LLM（Lai 等人，2023 年）是一个心理咨询模型，利用法学硕士盘古，通过专业心理学家的问答和公共数据库中的大量中文心理学文章进行训练。该模型展示了心理知识和咨询服务的熟练程度。与此同时，其他基于法学硕士的心理模型，如 MeChat（Qiu et al，2023）、SoulChat（Chen et al，2023b）和 MindChat（Yan and Xue，2023）也可在线获取。最近采用法学硕士进行心理咨询的趋势集中在生成更具可解释性的心理健康分析（Yang et al，2023）和模拟精神科医生与患者的互动（Chen et al，2023a）。这种从生成反应到以专家身份诊断心理健康问题的重点转变标志着研究趋势的变化。对心理健康分析可解释性的追求有双重目的。首先，它为每个响应提供了详细的理由，使其更适合人工评估和调试。其次，模拟方法不仅解决了数据隐私问题，还挑战了传统的通过问卷收集症状的方法。通过提供一系列专业技能，这种方法可以更有效地完成咨询任务。
尽管取得了这些进步，但心理咨询会议中仍然缺乏真实的咨询数据集，其中包括顾问的症状描述和咨询师采用的治疗方法。
这些数据可以抵消由于医生患者模拟基于模板且缺乏控制而引起的问题。例如，精神科医生已经观察到聊天机器人通常与患者不相似（Chen et al，2023a）。然而，值得注意的是，这些诊断通常很敏感，需要仔细注意潜在的隐私问题。除了心理咨询对话的形式外，现实世界中还有大量的心理咨询数据，这些数据隐藏在专业的心理咨询报告中。但由于其结构化特性，不适合用于模型训练。
本文提出了一种面向中国心理咨询的新框架CPSYCOUN，包括基于心理咨询报告的对话重构方法和多轮咨询对话评估基准。具体来说，我们首先从可公开访问的网站上收集匿名心理咨询报告，并进一