智源大会自然语言处理论坛精华观点 | 刘群、陶建华、刘挺、黄萱菁、刘洋等解读NLP最新趋势...

预训练之后，哪些NLP问题仍待解决？情感计算是如何应用于抑郁线索分析？如何处理NLP中的可解释性问题？在本次智源大会自然语言处理专题论坛上，清华大学教授刘洋，华为语音语义首席科学家刘群，中国科学院自动化研究所研究员陶建华，哈尔滨工业大学教授刘挺，复旦大学教授黄萱菁等就领域内关键技术和问题进行了深入解读。                                      

整理：白鹏

编辑：李梦佳

连续细微情感识别与理解的关键技术

陶建华 | 中国科学院自动化研究所研究员

研究背景及意义

情感计算在很多方面具有重要作用，情感识别技术已成为产业的重要需求。目前存在以下三个技术挑战：

（1）如何度量真实的细微情感；

（2）如何解决复杂场景情感识别；

（3）如何准确理解细微情感变化的含义。

研究方法

针对挑战1，之前已有情感表征仅是基本情感分类或是复杂情感表示，但表达还不够细致，所以陶老师课题组提出情感矢量模型，能反应情感连续变化过程。也有科学家提出情感二维、三维表示理论，其中PAD模型有效表达了细微情感表征。

针对挑战2，学界大多利用多通道情感信息之间的互补性来提高情感识别的准确率。陶老师课题组利用LSTM+Boosting融合策略做情感识别，融合多模态注意力机制克服噪声环境干扰，做更鲁棒的情感识别。在基于多模态时空表示的情感识别方面，利用特征池化方法将音视频片段聚合为长时的语音以及视频特征，利用多模态注意力特征融合方法生成带有模态互补信息的多模态表示并利用向量回归进行预测。

在融合语义的情感识别方面，现有研究围绕时序建模和个体建模展开，陶老师课题组针对现有情感识别模型对于细粒度时许信息建模不充分问题，采用词级别文本信息和段级别声学信息作为输入，学习单模态特征内部的时序依赖关系，以及跨模态特征之间的关联信息，融合注意力机制的循环神经网络有效建模交互过程中的时序信息。此外，陶老师课题组还融合个体与时序信息做情感识别，利用交互场景中的个性信息和时序信息，采用图神经网络建模交互过程中的自我依赖特征和相互依赖特征，采用双向循环神经网络建模交互过程中的历史信息和未来信息，并结合多头注意力机制关注上下文中情感显著性质信息。此外，基于无监督表征学习的情感识别方面，陶老师课题组与华为合作开展面向儿童语音的情感识别，提升了真实场景下情感分析的可靠性。

针对挑战3，针对注意力机制下的多模态情感识别及其在抑郁线索分析中的应用进行研究，建立了基于音视频的精神压力分析系统，通过融合记忆机制进行建模，实现抑郁线索的动态跟踪与反馈。在基于注意力机制的非接触式多模态谎言分析研究中，基于注意力机制，他们提出了非接触式多模态谎言分析与干预方法，针对传统接触式测谎分析的短板，采用音视频信号进行评估，融合多分类器模型，在资源受限条件下有效实现了高性能的谎言分析。