1 基本情感论模型--离散状态
1 Tomkins
面部表情 惩罚或奖励的反馈结果
八类: 基本情感
2 Izard
具有动机的特征
10中基本情感状态(言语内容 表情等)
神经系统 电化学 自主,遗传决定
情感面部 姿势活动 情感活动输出决定
脑区的反馈信息 情感活动输出产生
3 Ekman
美国心理学家
早期的情感模型都是他提出的
面部表情中应用广泛
1972年六类情感状态
90年代扩充 更多的维度 对于计算机视觉研究起到了推动作用
泛文化意义
历史进化中不同面部表情的面部表达是独特的
自主神经中枢神经机制
特定情感细节反应在时间上的变化
情感表达主观体验强度进行等级划分
情感表达包含多种信息
情感的持续时间相对较短
情感表达可以伪装
每种情感都有自己特定的诱发条件(与情景相关,特定的人体诱发特定的情感状态)
基本情感论缺陷: 分类问题,刻画的情感种类有限
表情行为等的情感表现有较大差异
无法对情感表达的渐变性建模
2 基于维度空间论的情感模型--欧式空间描述
采用直观的低维欧式空间定量描述
实数轴来度量其变化
实时跟踪,细粒度
1 一维空间--一维数值
Johnston
正半轴快乐维度
负半轴快乐的负极
通过数值动态跟踪愉快程度
2 二维空间
James A
愉快度 强度维度
不同取值的组合得到不同表征,例如第一象限的高兴
3 三维空间
1962 倒抛物线锥
德国 wihelm
愉快不愉快
紧张-松弛
兴奋-沉闷
布朗大学教授 harold
注意拒绝
倒立圆锥形
因子分析法 抛物线锥体
强的靠近远点
弱的靠近边缘
PAD模型
应用最广的维度情感模型
愉悦度、唤醒度、优势度
P:正负特性-喜欢不喜欢 Pleasure
A: 警觉性 Arousal
D: 个体对情景和他人的控制状态Dominance (用户(主控,正直)与外部环境(受控,负值)主导程度;)
前面的离散情感模型与维度的也可以对应
三个维度划分为9个情感状态
4 高维空间
应用少 标注成本高
3 基本情感论 VS 维度空间论
情感描述方式:形容词标签 矢量、欧式空间坐标点
情感描述能力:有限几种情感类别 任意情感变化
应用情感识别领域时期; 1980s 2000s
建模方法: 容易简单,可解释性更强 数据集进行建模、标注,成本高(不同个体不同时间片段标注)
离散情感标注: 语音情感识别,每句话单独打标签(最基本的),也可以粗粒度方面进行正负向标注
维度情感: 随时间动态变换,视频音频进行分桢 不同时间片段标注,每个100ms时间对媒体数据打标签 有些情感状态不易察觉,多个人同时标注,通过投票方式得到结果
维度值打标签也是对维度值进行离散化,标注人员也是选择合适的量级,再求平均,提高可信度
标注时也要注意:当前与相邻时刻的情感状态关联 一分钟的视频需要10分钟的时间标注
情感识别任务数据规模少
4 基于认知机制的情感模型(后续建模方法时用的少)
认知神经科学重要组成部分;
交感与副交感神经活动
1 情感相关联的神经机构
某些特定脑神经结构的活动水平因情感信息变化而有显著差异;
七个神经结构:
杏仁核:对负情感刺激反应强烈,恐惧情感刺激
框额叶皮层: 情感的面孔识别,个体制定计划时活动明显,奖赏惩罚机制
前扣带回皮层: 情感反应和情感自我调节特别重要,对疼痛知觉中也有重要作用
脑岛:厌恶情绪
伏核:条件反射
丘脑:亢奋重要地位
腹侧被盖区: 预期和实际发生,正性激活
大脑相关联的区间活动模式复杂的
2 基于认知机制的模型 EM模型
两种不同模式:感知层 认知层
获得输入图像的基本特征
并行工作
后者抽取目标的认知信息
处理流程: 感知层 愿望向量 基本刺激评价
认知处理器
3 Roseman模型
事件评价的情感模型
意料之外
动机状态
确定性
控制
事件引发原因
无法处理多种评价的复杂情景中应产生什么
4 EMA情感模型
两个不断重复步骤组成;
策略:以问题 为焦点;以情感为焦点
5 Salt&Pepper
认知和行为发生器
情感发生器
中断管理器
5 基于个性化的情感模型
1 大五模型
人的性格测试
五个维度反应人的个性化特征: 开放性、认真性、外向性、宜人性、神经质
大五量表、选择题,得分评估人性格,人的特质(异质性情感)
2 EFA性格空间
个性空间: 外向(Extroversion) 担心(Fear) 好斗(Aggression)
三个维度建模
人稳态的特性,与前面的情绪是变化的
3 情绪-心情-性格
人机对话系统
文本处理模块
性格模块
心情-情绪模块
同步模块
6 其他情感模型
1 HMM情感模型:
双重随机过程
马尔可夫链 一般随机过程---隐马尔可夫模型构成
情感隐藏性(隐状态)
表情 语调 神情--可观测
这个模型只考虑了前一时刻--与真实情况有所出入--模型精度不高的一个原因--所以用的少
2 分布式情感模型
外界刺激建立的分布式情感模型