Scoring with Large Language Models: A Study on Measuring Empathy of Responses in Dialogues

本文是LLM系列文章，针对《Scoring with Large Language Models: A Study on Measuring Empathy of Responses in Dialogues》的翻译。

摘要

近年来，大型语言模型（LLMs）在完成复杂任务的能力方面变得越来越强大。LLM经常被采用的一项任务是评分，即从某个量表中为受试者分配一个数值。在这篇论文中，我们努力了解LLM是如何评分的，特别是在同理心评分的背景下。我们开发了一个新颖而全面的框架，用于研究LLM在衡量和评分对话中反应同理心方面的有效性，以及可以采用哪些方法来加深我们对LLM评分的理解。我们的策略是用明确和可解释的特征来近似最先进和微调的LLM的表现。我们使用对话的各种特征来训练分类器，包括嵌入、动机访谈治疗完整性（MITI）代码、LLM提出的一组明确的移情子因素，以及MITI代码和明确子因素的组合。我们的结果表明，当只使用嵌入时，有可能实现接近通用LLM的性能，当使用MITI码和LLM评分的显式子因子时，训练好的分类器可以与微调LLM的表现紧密匹配。我们采用特征选择方法来推导同理心评分过程中最关键的特征。我们的工作为理解LLM同理心评分提供了新的视角，并帮助LLM社区探索LLM评分在社会科学研究中的潜力。

1 引言

2 相关工作