【论文阅读】《Deep Learning for Depression Recognition with Audiovisual Cues: A Review》 summary

QuantumYou

已于 2024-04-13 22:44:35 修改

阅读量1k

点赞数 9

分类专栏：机器学习文章标签：深度学习人工智能

于 2024-04-07 23:09:50 首次发布

本文链接：https://blog.csdn.net/QuantumYou/article/details/137471245

版权

机器学习专栏收录该内容

29 篇文章 1 订阅

订阅专栏

本文综述了自动抑郁症诊断系统(ADE)的发展，涵盖预处理、网络架构、性能提升、学习策略、空间特征提取、面部图像和视频序列识别、表情与行为分析、性能评估以及应用中的时空特征和挑战。深度学习在ADE中的应用显著提高识别精度，但面临数据库、透明度和样本分布等问题。

摘要由CSDN通过智能技术生成

本文并非逐句翻译，添加个人理解，如有需要，请自行阅读原文。

在这里插入图片描述

文章原文链接

ADE（自动抑郁症诊断系统）

自动抑郁估计系统 Automatic Depression Estimation systems

文章架构

在这里插入图片描述

①ADE 预处理

P62-P64

数据收集：介绍了用于收集音频和视频抑郁数据的方法，包括使用计算机或笔记本电脑录制音频片段，以及使用多摄像头从不同角度录制面部和全身视频。还提到了使用基于眼温的热像图和Microsoft Kinect来记录参与者的上半身数据。
数据库回顾：讨论了用于抑郁识别的20个数据库(原文3.2已审查的数据库)，其中只有8个对公众开放。这些数据库对于开发和评估抑郁评估工具至关重要，且大多数数据库是为特定研究而建立的私有数据集。
深度学习架构：概述了用于ADE的深度神经网络（DNN）架构，包括卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）、编解码器和自编码器架构、生成对抗网络（GAN）等。
预处理：描述了在音频和视频数据上执行的预处理步骤，例如调整音频采样率（原文4.1 预处理）、生成频谱图、使用不同的窗口函数，以及进行面部检测和对齐。
研究趋势：指出自2013年以来，基于音频视觉线索的ADE领域的研究出版物数量迅速增加，特别是在2017年之后，深度学习在ADE中的应用受到了极大的关注。
特征提取和模型融合：介绍了如何结合手工制作的特征和深度学习特征来提高抑郁识别的性能，包括使用时间-频率通道向量化（TFCV）块和DenseNet结构来提取信息丰富的模式。

②ADE 网络架构

P65-P67

传统和深度学习方法在音频抑郁识别中的应用，包括手工特征提取和深度学习模型的使用。
描述了LeNet-5网络结构，它由卷积层、池化层和全连接层组成，以及编解码器架构的基本构成。
长短期记忆网络（LSTM）的引入，它通过三个门（输入门、输出门和遗忘门）来解决循环神经网络（RNN）中的梯度消失或爆炸问题。
生成对抗网络（GAN）的介绍，它通过生成器和鉴别器的对抗过程来进行数据增强，如图像生成、自然语言处理等领域。
深度学习模型DepAudioNet的提出，该模型结合了一维卷积神经网络（1D-CNN）和长短期记忆网络（LSTM）来从语音线索中提取抑郁特征。
介绍了一个融合深度学习和手工特征的框架，该框架使用1D-DCNN和2D-CNN来学习和融合浅层和深层模式，以评估抑郁的严重程度。P65
讨论了数据增强方法，如使用深度卷积生成对抗网络（DCGAN）来增加数据样本的大小，以提高抑郁识别任务的准确性。
介绍了对音频片段进行频谱图转换的方法，并探讨了不同音频特征（如梅尔频率滤波器组特征）在抑郁识别中的作用。

③ADE 提高性能

P68

深度学习在音频视觉抑郁识别（ADE）中的应用，特别是如何通过结合手工特征和深度学习特征来提高抑郁识别的性能。文章中提到了几个关键点：

展示了健康个体和抑郁个体的频谱图和梅尔频率滤波器组的可视化对比（原文Fig 12），以及一个用于抑郁识别的四流深度特征融合框架，该框架结合了手工特征和深度学习特征。

在这里插入图片描述

介绍了一个考虑数据的时间-频率特征的Time–Frequency Channel Vectorization (TFCV)模块，并将其与DenseNet的两个模块整合，形成了一个统一的框架，用于从频谱图中学习信息丰富的模式。
讨论了一个基于深度学习的架构，该架构通过融合说话者识别（SR）和说话者情感识别（SER）特征来提高ADE性能，并使用特征变化协调测量（FVCM）算法来模拟多通道变化的时间延迟相关性和协方差系数。
通过对比健康对照组和抑郁个体的音频和视频子序列的图像，展示了它们之间的差异，并指出了音频和视频帧的判别模式对抑郁识别的不同贡献。

④ADE 学习策略架构

P69

介绍了一个基于深度卷积生成对抗网络（DCGAN）的两级分层学习策略，用于简化训练过程，并生成合成表示以提取全局特征。
描述了一个用于从语音中识别抑郁的深度学习架构，该架构分为三个步骤：提取深度语音特征、测量协调特征和构建层次模型。

在这里插入图片描述

总结了音频模态用于ADE的深度学习架构，其中1D-CNN和2D-CNN是最流行的架构，并且越来越多的研究尝试直接使用原始音频信号来提取深度特征。
讨论了视频模态在ADE中的重要性，并根据深度网络输入的不同，将方法分为从单幅图像学习空间特征和从视频序列学习时间特征两类。
介绍了一种从图像中学习抑郁特征的深度架构DepressNet，该架构在预训练的深度模型上进行微调，以适应抑郁识别任务。

⑤ ADE 提取空间特征和模式

P70

讨论了用于音频和视频抑郁识别（ADE）的深度学习架构和方法，特别强调了从图像中提取空间特征和模式的技术

展示了健康对照组和抑郁个体的音频和视频特征的对比示例，使用红色和绿色矩形来区分具有辨识性的特征向量和较不具有辨识性的特征向量。

在这里插入图片描述

详细介绍了DepressNet架构，这是一种用于ADE任务的深度学习模型，它通过OpenFace工具预处理面部图像，并使用残差连接来构建特征表示。
讨论了多区域DepressNet（MR-DepressNet），这是一种学习不同区域和完整图像的抑郁识别模型，通过结合多个子架构的输出来提高特征的鲁棒性。
描述了一种基于2D-CNN和分布学习的方法，该方法使用期望损失函数来估计抑郁水平，并通过在AVEC2013和AVEC2014数据库上的广泛实验表明其性能超越了大多数最新方法。
介绍了一个双流深度卷积神经网络（DCNN）框架，该框架从RGB图像和视频剪辑的编码图像中学习模式，其中外观流使用静态图像作为输入，而时间流处理图像序列。

⑥ ADE 面部图像和视频序列识别

P71
讨论了几种基于深度学习的架构和方法，这些方法用于从面部图像和视频序列中识别和评估抑郁的严重性。核心内容包括：
在这里插入图片描述

介绍了Multi-Region DepressNet架构，该架构通过OpenFace工具预处理面部图像，并将其分割成不同区域，然后与完整面部一起输入以估计BDI-II得分。
描述了一种使用ResNet-50对齐的面部图像进行微调的方法，以提取区分性特征，并使用期望损失来衡量提出方法的性能。
讨论了另一种方法，该方法使用两个流（一个处理静态图像，另一个处理图像序列）来估计抑郁的严重性，并通过平均池化融合两个网络的输出。
概述了一些研究的共同特点，包括使用大规模数据库预训练深度模型，通过在抑郁数据库上微调来提高模型性能，以及设计特定损失函数来改善抑郁识别。
提到了一些研究尝试从头开始训练深度模型进行抑郁识别，包括一种多尺度架构，该架构考虑了人类行为基元，如面部动作单元（AUs）、注视方向和头部姿态，并使用光谱热图和光谱向量来挖掘表情行为的多尺度表示。

⑦ ADE 面部表情和行为分析

P72

介绍了一种结合2D-CNN和自注意力机制的深度学习架构（DLGA-CNN），用于从面部图像中提取特征并识别抑郁。
描述了一种五步方法，该方法从视频中提取人类行为基元，将它们转换为具有多个频率模式的光谱信号，并使用1D-CNN和人工神经网络（ANNs）来估计抑郁的严重性。
讨论了一种新的深度残差回归卷积神经网络（DRR_DepressionNet），用于学习与抑郁相关的模式。
概述了使用深度学习进行抑郁识别的研究，其中大多数研究采用了2D-CNN架构，并在AVEC2013和AVEC2014数据库上取得了有希望的性能。
强调了在训练过程中可能存在的过拟合问题，并指出了一些研究选择从头开始训练深度模型，而不是使用预训练模型，这代表了ADE研究的未来方向。

⑧ ADE 性能评估

P73

表格4总结了在AVEC2013和AVEC2014数据库上使用不同深度学习模型进行抑郁识别的研究结果，包括使用1D-CNN、2D-CNN、LSTM等网络类型，并报告了它们的均方根误差（RMSE）和平均绝对误差（MAE）。
表格5概述了在DAIC数据库上进行抑郁识别研究的性能，其中一些方法结合了文本特征。
讨论了从单个图像特征和图像序列中学习时间特征以进行抑郁识别的研究，强调了时间信息在抑郁识别任务中的潜在价值。
介绍了一种双流网络框架，用于从静态图像中检测抑郁，该框架利用面部图像和光流特征来学习抑郁模式，并提出了AppearanceDCNN和Dynamics-DCNN来分别建模静态和动态抑郁识别模式。