Empathy-virtual agent/robots

思考

1. 为什么写这篇文章

• 目的是为了要介绍共情理论和计算机领域对于共情的研究和应用
• 其次是这个领域的未来、挑战

2. 主题：empathy

• 人类社交关系构成了我们的生活环境
• 技术自主的产品需要有社交能力：empathy

3. 读完这篇文章的所得所思：遇到的问题-如何提高效率，怎么解决/下一次的经验教训

• 首先读intro，结论与课题延伸：把握中心内容（抓住文章的关键词与逻辑）
• 其次带着对于关键词的延伸思考：提问自己想知道的问题
• 最后带着问题针对性阅读每一个部分，获取自己想知道的答案

tips：将术语积累起来，相关话题积累

论文简述：Empathy in Virtual Agents and Robots: A Survey

1. 计算机共情领域
2. 分析人工代理在与人类交互的过程中可以刺激和触发共情的不同方式
3. 共情代理人的设计：共情/同理心计算模型

叙述引入：

1. 同理心是人类社会交互的主要组成部分之一，并发挥关键作用（沟通与建立社会关系）
2. 提出机器拥有同理心的课题，课题对象：具有同理心能力的虚拟对象和实体机器人

具体叙述：

1. 共情的理论背景：概念与定义
2. 定义共情的计算模型的需求：需要考虑的因素（由结合理论知识分析得出）
3. 实例：具体情境和具体的代理所具有的特征
4. 总结与未来方向

共情理论

1. 共情的定义：

1. 作为对他人情绪状态的情感反应
2. 作为对其他人情绪状态的认知与理解力
3. 由情感和认知两部分组成

2. 不同研究者的定义：本文献采用Hoffman定义

1. Hoffman定义共情：一种使得人具备“与自己的处境相比与其他人处境更协调一致的情感”的心理过程（对于其他人的情绪反应）
2. Davis定义共情：一组对其他人的经历产生的反应相关联的个人行为
3. De Waal：a感知与分担其他人的情绪状态的能力 b评估其他人产生的情绪状态的原因 c认同他人，采用他们的观点

3. 共情遭遇的一般要素

• 目标者（被观察对象）
• 发生的目击事件
• 目标者的情绪表情/行为
• 观察者
• 语境/上下文

4. 共情产生的三个核心过程：
   （1） 共情机制：共情是由内部机制所引起的。

• 共情反应的核心是能为观察者提供接近于目标者的主观情绪状态的机制。这个过程由观察者内部认知和处理系统完成并由多种因素所调节。
• 共情机制的核心是：认知/行为机制，其遵循以大脑中认知和行为共享一套通用的表示法的概念为依据的知觉行为假说。其可以是无意识的，习得语言前的，非主管自愿的，例如模仿
• 模仿分为两步连续的处理步骤：观察者模仿目标者做出自动反应的运动变化，然后传入反馈
• 共情唤醒模式需要更高水平的认知过程，可将其划分为调节联想，角色选择或观点取替
• Hoffman定义了两种不同的角色选择：聚焦自身，聚焦他人；其中聚焦于他人的角色扮演需要更高的认知能力的处理过程，因为其需要考虑到其他人的精神状态并且评估所给的语境。
• 文献中主要探讨两种表现形式（虚拟代理人，机器人）的共情机制：情感模拟，角色/认知选择

（2）共情调节

将影响因素分为四组：

1. 被观察情绪的特征：越突出、强烈，观察者的反应越强烈。初级情绪的共情（如高兴，悲伤）更加简单，第二级的情绪（如嫉妒）的共情则更为复杂
2. 观察者与目标者的社会关系的调节因素：情感联结度，熟悉度，相似度，交流意图；确认鉴别与身份证明在熟悉的人之间情绪强烈时是共情反应的一大影响因素
3. 情况与上下文背景的特征：对情况的评估和多种情绪的展示；其他人的存在/群体；
4. 观察者的特质：个体差异，性别差异，社会责任感

（3）共情反应

• 共情情绪不必与目标者一致
• 表现形式：面部表情，身体语言，心理反应，动作倾向
• 产生：人际移情可以产生帮助他人的亲社会行为（程度受个人差异影响）

社交代理人中的移情：虚拟智能体和机器人的共情计算模型的创建

1. 社交代理人有两种不同的方式：

（1） 将人类交往方视为观察者（共情产生方），代理人作为目标者触发人类产生共情

• 代理人不需要具备共情行为能力，但被设计具有触发人类产生共情的能力，例如在需要说服人类做出正确行为的情境中适用

（2）将社交代理人视为观察者，代理人产生共情行为

2. 共情代理人的定义

（1）在与其他人或其他代理的情绪状况相符合的情形产生情绪反应的代理人
（2）通过设计与行为反应，能够引导用户以与代理人的情绪状况相一致的方式作出反应的代理人

3. 两种不同的共情代理人：设计实现时需要考虑的因素

1. 作为共情目标对象（被观察）的代理人

• 目的：促进人类观察者的态度/行为改变
• 要求：用户沉浸情景，将已发生的联系到他们的兴趣，爱好与关心的事物上
• 设计：
  关注的要素：过程（与代理人的特征）

1. 情况/背景
2. 观察者的特征：年龄，性别，文化等因素的调节
3. 共情机制：通过代理人的情绪线索或表达触发；设计故事或设立使用者与代理人之间的关系可以触发更高层次的认知选择机制
4. 代理人的特性：服务代理水平，物理外表，内部智力，情绪状态的表达能力，非语言的行为（肢体模仿）
5. 共情调节：基于如建立或维系社交关系等能力等调节因素来触发观察者产生不同程度的共情

2. 作为观察者的共情代理人

1. 根据具象化的不同形式分为两类共情代理人：
   （1）在虚拟代理中应用效果理想：更可爱，更可信，更关心体贴，可建立长期社交关系
   （2）人类-机器人交互中考虑的问题：人类对产生共情的机器人做出什么反应。机器人能够与人类建立长期社会关系
2. 设计共情代理人主要考虑的问题：在虚拟代理中与刺激产生共情的计算过程是什么
   （1）共情机制：识别出他人的情绪状态，理解他人的行为；可通过视觉，听觉，身体信号，情景解释等形态实现情绪识别
   （2）共情调节：情绪，个性特征，社会关系等多种因素
   （3）共情反应：具备以一种可被他人理解的方式表达内部共情状态的能力：通过语言/非语言行为作出行为或反应以改变他人的状态

4. 开发共情的计算模型的方法

1. analytical分析法

• 分析法基于建立在心理学和神经心理学研究基础之上的共情理论模型，是如今最受欢迎的方法
• 难以评估效果的优劣

2. empirical实验法

• 实验为依据的方法依赖于在共情情境中测试人们的社交或情绪交互时收到的数据
• 难以验证效果的好坏，主观性较强，依赖于场景

5. 唤起用户共情的虚拟代理/机器人具体实例

1. 唤起共情的虚拟代理：促进人类的行为发生改变

1. Embodied Conversational Agent：健康膳食的治疗专家，通过让用户对代理人传递的信息作出反应来改变用户的饮食习惯。该系统提出了相关的原则

2. Carmens Bright IDEAS以有重病孩子的母亲为目标人群，通过故事与任务的互动表达用户的压力。由虚拟代理人控制展开的对话并且充当系统的指导者，以确保剧本有效。

• 以对话和情绪表达激励用户，用户的干预与反馈影响接受对象代理人的想法和整合系统的任务流程。
• 共情在其中发挥重要作用，其由真实事件改编而成的剧本故事背景和管理交互的控制代理人共同实现。

3. FearNot！游戏以3D学习环境中的虚拟人物为特征，通过角色扮演帮助学生大胆说出校园霸凌的现象。

• 允许学生在面临霸凌现象时采取不同的解决方案
• 核心思想是用户可以扮演校园霸凌受害者的朋友并且帮助代理对象说出霸凌事实，给出下一步解决方案
• 通过激发用户对于虚拟人物的共情，系统目的在于帮助本身为受害者的用户
• 调用了一些调节因素：用户与代理人之间的相似性加强共情程度

4. 被用于患者，医护人员的训练或交互情景中：SimSensei Kiosk

• 被设计为采访者的虚拟代理人与用户进行互动使得用户感到舒适并愿意分享个人信息
• 产品目的：在于帮助患者解决抑，焦虑，创伤压力失调等问题，在此类场景中共情被视为治疗医师和患者之间的联系的基本元素
• 实验设置：实验组的虚拟代理人有更详细的背景故事，对照组未提供详细背景。实验组的用户的共情反应更温暖与体贴，实验结果表明在共情唤醒代理人的设计中提供更细节的背景故事能够激发用户更好的共情反应

5. 玩具有亲社会属性的电子游戏，能够促进用户在现实相应的情境中的利他行为

• Traveller是一款严肃游戏，用户可以在设置的不同的虚构的国家扮演不同角色，在国家之间旅行并解决实际问题，例如找到去酒店的路等。解决这样的问题需要用户参与与小组中不同的匿名成员的互动，不同文化的成员有不同的行为方式，特别是在对待用户和对其行为做出反应等方面。

2. 唤起共情的机器人：实体存在的特性和具备交互的能力使得社交机器人有潜能唤醒人类的共情反应，促进人类与机器人进行合作

通过设置对比实验，发现具有人类属性设计的机器人更能触发人类的共情反应

1. Mung robot实验：设置两组实验，目的在于测试机器人不同的感知代理角色是否影响其触发产生的共情反应程度。

• 实验形式：参与者扮演教授机器人的角色，机器人接受问题测试，回答错误时参与者给予机器人电击惩罚，机器人可以通过语言和表情反馈情绪状态。
• 实验组：机器人作为人类的中介代理人的角色；对照组：机器人作为具有独立行为的自治实体
• 实验结果：参与者对于作为中介代理人的角色的机器人产生更多的共情反应。实验表明对于机器人产生的共情反应不仅取决于机器人的人类属性，还受其感知代理的角色的影响。

2. 在观看电影时微笑机器人的设置实验得出：积极情绪的机器人的设置可以部分消除实验者的消极情绪，促进实验者产生积极情绪

3. EDDIE system：机器头，能够识别用户的面部表情并且理解特定关键词，可以对多种社交场合做出反应并且相应地改变其内部状态（包括情绪状态）

4. 增加界面设计：用户通过机器人的视角，从机器人的角度来沉浸场景。

• 通过基于表格设计的界面，用户能够控制机器人，通过远程控制界面来增强用户的感知
• 实验表明：包含界面的场景更易于沉浸，能够引发更多的共情关怀和角色取替

3. 相关问题的讨论

• 在如何评估触发的共情反应程度的问题上还没有达成共识：不同实验不同的测评维度
• 需要考虑相关的问题：在有目的地以虚拟代理人和机器人为主体唤醒用户地共情反馈地情景背后要考虑道德论题，并且也需要考虑到随之而产生地一系列后果

6. 虚拟和机器人代理中的共情具体实例

1. 虚拟代理人的共情

1. the Empathic Companion：一个具体化的虚拟人物，能够在虚拟工作面试任务场景中支持用户

• 实验目的：研究在低压情景中共情反馈对于减少用户压力水平的影响
• 通过生物电位信号和基于上下文的信息能够识别用户的情绪状态并且在工作面试的模拟场景中做出共情反馈的反应
• 有三种可选择的共情反馈：展示共情；激励用户；为用户感到高兴/自豪
• 通过设置对照组，验证实验效果

2. Skip-bo card game：虚拟代理人MAX向同伴（游戏玩家）展示共情反馈

• 实验结果表明，在竞争性的卡片游戏场景中共情情绪的展示能够激发用户行动并减少压力

2. 机器代理人的共情

与机器人的交互倾向于更自由的形式，因此感知用户的情绪状态也是更有挑战性的

结论，挑战与未解决的议题

本篇文献：

1. 提出虚拟和机器代理人的计算共情的课题
2. 回顾共情的主要理论和核心概念
3. 依据共情理论定义建立共情计算模型的分类元素，进而提出了两类代理：唤醒人类共情反应的虚拟/机器代理人和产生并展示共情行为的虚拟/机器代理人

该领域面临的挑战和开放行课题：

共情代理人在现实中的应用还有很长的发展历程，许多挑战需要被解决，技术壁垒需要突破
决定未来研究的一些挑战性问题：

1. 关于语境：用户生理信号,感官信息等能为感知用户情绪和反应提供更多信息，通过翻译，过滤，存储能够为虚拟代理创建事件发生的重要背景。这是该领域面临的最大挑战之一。
2. 更多的自主权：

• 首先设计实现完全自主的共情代理人受当下科技发展限制，现实世界中的情绪识别仍然是困难的，尤其是在自然场景中，并非对于所有类型的用户都适用。
• 其次当下的模型建立方法都适用于特定场景而不能推广普及
• 需要继续推进以综合的方式建立能够感知，推理，行动的即使可用的自动化共情虚拟/代理机器人

3. 应该测量的：通过问卷调研人类的共情，但是没有评估人工实体的共情能力的标准，我们需要测量感知到的共情，需要从多维度能力角度设置有效的度量标准来评估社交虚拟/机器代理人的共情能力
4. 从理论到实践

• 如今的实现过程：依据不同的心理学理论和操作化过程，使得处理流程足够具体，量化内部的联系与结构，并且使得他们足够具体以便于映射到计算机软件实体，在表现形式、结构，处理流程，甚至于影响虚拟现实场景建立的参数中做出筛选
• 增强性计算模型的研究也可以用于研究人类人们之间的社交互动和情绪链接，除了收集到的数据，还有计算模型的特征，处理过程以及组成元素可被用于反思该领域的理论基础。对于共情式虚拟/机器代理人的研究需要和心理学理论并行发展

5. 更真实的共情
6. 长期互动

• 人们长期的社会关系能够影响其共情反应；相比于陌生人，人们倾向于对家人朋友产生更多共情
• 虚拟/机器代理人可以通过长期与用户的互动推理用户的喜好提高对于用户的适应性

课题的研究意义：

• 对于共情计算模型的开发和培养机器的共情能力有助于增加人类和机器的亲社会反应
• 随着技术开始设计关于道德、社会和亲社会的关注，在人类和机器之间的关系中建立共情，培养研究的模型，可能有助于建立一个更友好和更具同情心的未来社会