冠军 | ACL2023 WASSA Workshop“交互式情感、同理心和个性识别”评测赛题方案 - 哈工大SCIR...

来自：哈工大SCIR

进NLP群—>加入NLP交流群

2023年5月11日，哈工大社会计算与信息检索研究中心(HIT-SCIR)的团队，以0.758的成绩获得ACL 2023 WASSA Workshop“交互式情感、同理心和个性识别”（Empathy Emotion and Personality Detection in Interactions）评测中的“对话中的共情和情感预测”赛题冠军。该评测吸引了世界各地超过78名参赛者、共19支参赛队伍参加。哈工大SCIR参加本次比赛的团队成员包括陆鑫、李卓君、童彦澎，指导教师为赵妍妍副教授。

图1  “对话中的共情和情感预测”赛题Post-Evaluation阶段比赛结果

比赛介绍

WASSA全称为Workshop on Computational Approaches to Subjectivity, Sentiment & Social Media Analysis（主观性、情感和社交媒体分析计算方法研讨会）。第十三届WASSA会议将依附于ACL 2023于7月14日在加拿大多伦多举办。本次评测是WASSA 2023研讨会中的一个评测任务，该任务下设置了5个赛题如下：

• Track 1: 对话中的共情和情感预测（CONV）

• Track 2: 共情预测（EMP）

• Track 3: 情感分类（EMO）

• Track 4: 性格预测（PER）

• Track 5: 人际关系反应指数预测（IRI）

赛题介绍

在人机交互系统领域，一个明显的趋势是对用户的情感和共情状态的日益关注。然而，分析用户的情感和共情状态仍然是一个具有挑战性的问题，需要研究者进行深入的探索和研究。本次评测的数据集收集自志愿者阅读新闻的真实共情和情感反应。每个参与者都被要求阅读存在伤害个人、群体等主题的新闻文章并写下一篇短文作为读后感，并填写一个心理评测量表用于评估阅读新闻时的共情和痛苦程度，另外每个参与者需要填写性格量表来评估自己的大五人格指数和人际关系反应指数。两个阅读同一篇新闻文章的用户需要进行对话，他们的每一轮对话都对共情强度、情感极性和情感强度进行了标注。志愿者所写的短文长度在300到800个字符之间。他们之间进行的对话平均为23轮。该数据集还包括全部的新闻文章和人口统计信息（年龄、性别、种族、收入、教育水平）。

获奖系统

对于我们所参与的三个赛题，构造的模型结构分别如下图所示：

图2 模型结构图

Track 1: 对话中的共情和情感预测（CONV）.该任务中我们构造的模型如图2（a）所示，该任务要求预测三个回归值，我们将待识别的对话与一定窗口长度的上下文进行拼接，并使用预训练模型DeBERTa作为基础模型进行微调，对于三个回归值我们尝试使用了不同的窗口长度进行实验，最终以0.758的分数夺得比赛冠军，远超第二名。

Track 2: 共情预测（EMP）.该任务中我们构造的模型如图2（b）所示，该任务要求预测两个回归值，通过分析我们发现这两个回归值存在一定相关性，于是在模型结构上以RoBERTa为基础模型采用了一种多任务结构进行微调，获得第五名。

Track3: 情感分类（EMO）.该任务中我们构造的模型如图2（c）所示，该任务为一个多标签回归任务，一共包括8个标签，训练集中数据不足800条，且分布很不平衡。我们使用了ChatGPT改写进行数据增强的方案，同样以RoBERTa为基础模型进行微调，获得第三名。另外为了防止过拟合，我们对于每个赛题上训练得到的各个单模型进行了集成，并对于验证集按照人口统计学信息进行了划分，大大提高了系统的鲁棒性。

本期责任编辑：赵妍妍

本期编辑：李宝航

---

进NLP群—>加入NLP交流群