如何基于多模态数据进行抑郁症检测？

已于 2025-01-16 13:49:45 修改
阅读量856 收藏 18
点赞数 9
文章标签： 深度学习 计算机视觉 语音识别 视觉检测 分类 多模态 抑郁症
于 2025-01-16 11:15:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Q_w7742/article/details/145165557
版权

本文参考

  • 基于多模态深度卷积神经网络的抑郁症检测研究 作者：刘东东
  • 基于脑电信号的抑郁症检测方法研究 作者：宋鑫旺
  • 基于肢体动作的抑郁症识别研究 作者：赵晓轩
  • 基于智能步态分析的抑郁人群识别 作者：许世豪
  • 利用深度学习从面部表情和语音识别抑郁症方法的研究 作者：郭威彤
1. 抑郁症患者的特征
语调特征
  • 音量较低：抑郁症患者的语调明显更低，与正常人相比有显著差异。说话时的音量普遍较低，声音显得较为微弱。即使在安静的环境中，也需要仔细聆听才能听清楚他们的话语。这种低音量的说话方式可能与他们内心的低落情绪和缺乏自信有关。
  • 语言表达单一：语言表达的内容较为单一，缺乏丰富的词汇和生动的描述。在叙述事件或感受时，常常使用简单的词汇和句式，难以详细地描绘细节和情感变化。例如，在描述一个愉快的场景时，可能只是简单地说“还不错”“还可以”，而无法像正常人那样详细地描述场景中的各种元素和自己的感受。
  • 语速变慢：说话的速度明显变慢，每个字、词、句的发音和停顿时间都相对较长。在回答问题或表达观点时，往往需要更长的时间来组织语言，且在说话过程中会出现较多的停顿。
面部表情
  • 表情较少：面部表情较少，情绪变化不明显，表情丰富度较低，并且往往较为僵硬，缺乏自然流畅的过渡。例如，在微笑时，嘴角上扬的幅度可能较小，且持续时间较短，难以展现出真正愉悦时的自然笑容。通常有与悲伤相关的特征，例如嘴角下拉、眉头紧皱、皱纹加深、眼睛经常哭得红肿。
  • 眉毛活动范围小：眉毛的活动范围相对较小，较少出现因情绪变化而产生的明显眉形变化。如在表达惊讶或好奇时，眉毛上扬的幅度不如正常人显著；在表示愤怒或不满时，眉毛皱起的程度也较轻。
  • 眼神呆滞：他们的眼神通常较为呆滞，与他人交流时眼神交流频率降低。即使在对话过程中，也常常避免与对方进行直接的眼神接触，或者眼神游离不定，无
最低0.47元/天 解锁文章
Q_w7742
关注
抑郁症检测：基于交叉注意力的多模态特征融合方法
cv君的博客
02-22 225
它通过使用名为MacBERT的预训练模型提取文本中的词汇特征，并结合额外的Transformer模块优化特定任务的上下文理解，有效地捕获和整合了多模态数据中这些互补的信息，进一步提升了模型对目标任务的适应能力。借助整合多维度的信息，该模型实现了更为精准的评估，这种能力充分凸显了我们模型的稳健性，使其能够在社交媒体文本数据的复杂性与多变性中，始终保持较高的准确性来识别抑郁倾向。：提取了六个统计特征，包括负面情感微博的比例、原创微博的比例、深夜发帖的比例、每周发帖频率、发帖时间的标准差和包含图片的微博比例。
基于子注意融合的多模态抑郁估计
weixin_50909869的博客
11-15 520
输入是三种不同种类的数据，输出则是PHQ-8的数值，由CNN和LSTM的联合作为该模型的主干，来进行特征的提取，经过全连接网络，进行特征图的融合（将特征连接到一起），进而输送到注意力融合模块当中，该模块有八个子注意力模块，分别提取不同的特征，对应八个子分类器，输出八个子PHQ-8分值，刚好对应PHQ-8（量表中8个抑郁检测项目，每一个3分）Goodness：提出了一种融合多模态的模型，并且采用注意力融合的方法来进行抑郁症检测，根据PHQ-8量表的判断规则将抑郁症等级进行分类（>10定义为抑郁者）
Nature Medicine|剑桥苏黎世团队：基于多模态(病理和分期信息)深度学习预测子宫内膜癌复发风险
weixin_58753619的博客
12-19 1134
预测子宫内膜癌 (EC) 的远处复发对于个性化辅助治疗至关重要。目前病理和分子分析相结合的黄金标准成本高昂，阻碍了实施。在这里，我们开发了 HECTOR（基于组织病理学的子宫内膜癌定制结果风险），这是一种多模态深度学习预后模型，使用苏木精和伊红染色的全幻灯片图像和肿瘤分期作为输入，研究对象为来自八个 EC 队列（包括 PORTEC-1/-2/-3 随机试验）的 2,072 名患者。
情感计算的发展：基于多模态分析的抑郁症监测
博客之路,前途漫漫
11-12 4113
这篇文章，我开始介绍第四篇情感计算经典论文模型，他是ICRL 2019的一篇多模态情感计算的论文 “LEARNING FACTORIZED MULTIMODAL REPRESENTATIONS”，其中提出的模型是MFM；此外，原创部分为加入了抑郁症数据集以实现抑郁症检测任务，以及在SIMS数据集和SIMV2数据集上进行实验。CMU-MOSI数据集是MSA研究中流行的基准数据集。该数据集是YouTube独白的集合，演讲者在其中表达他们对电影等主题的看法。
基于多模态的抑郁症识别入门综述——Deep Learning for Depression Recognition with Audiovisual Cues: A Review
ZF10145的博客
12-25 8740
本文是对一篇基于多模态的抑郁症识别入门综述的文献阅读，可以作为相关研究领域的入门阅读内容，同时文中对经典深度学习方法的概述也将帮助初学者快速进入该领域。 原文题目：Deep Learning for Depression Recognition with Audiovisual Cues: A Review
多模态情感分析与抑郁症检测：MMIM 模型的创新与应用全景
2301_80038570的博客
12-08 2087
CMU - MOSI：这是一个多模态数据集，涵盖文本、视觉和声学模态。它取材于 Youtube 上的 93 个电影评论视频，并被剪辑成 2199 个片段。每个片段均标注了[-3, 3]范围内的情感强度。该数据集分为训练集（1,284 段）、验证集（229 段）和测试集（686 段）三个部分。：与 CMU - MOSI 类似，但规模更大。它包含来自在线视频网站的 23,453 个注释视频片段，涉及 250 个不同主题和 1000 个不同演讲者。
利用3D面部表情及口语语言的多模态方法进行抑郁症智能化识别
chaishen10000的专栏
10-04 4150
附上论文链接《Measuring Depression Symptom Severity from Spoken Language and 3D Facial Expressions》https://arxiv.org/abs/1811.08592 摘要 全世界有超过三亿人患有抑郁，可知抑郁症是个全球性的难题。由于社会歧视，花销以及治疗可行性，患有精神疾病的成年人中60%从未接受过心理健康治疗。有效和高效的诊断依赖于检测到的临床抑郁症症状。抑郁症的智能检测将可能提高诊断的精确性和实用性，从而加快对.
基于多模态脑连接体的晚年抑郁症患者自杀风险预测
cc1609130201的博客
04-27 1463
自杀意念、自杀计划和自杀行为在老年人群中是非常严重的健康问题，其导致死亡的可能性远远高于任何其他年龄组。老年抑郁症发病率的增加反映了对老年抑郁症患者自杀风险进行有效筛查的迫切需要。采用横断面设计（注：或者叫横向研究，定义是在单一时间点比较不同的群体，不考虑过去和未来的影响，只看某个时间点的结果），我们使用全脑静息态功能连接和白质结构连接数据进行了基于连接体的预测建模，以预测晚年抑郁症患者(N = 37例非自杀患者，N = 24例有自杀意念/计划的患者，N = 30例自杀未遂患者)的自杀风险。自杀风险是通过三
重度抑郁症患者的脑功能老化加速：来自中国大规模fMRI证据
悦影科技
05-10 813
重度抑郁症(MDD)是一种最常见的心理健康疾病，它与脑萎缩和死亡率的关系已被深入研究。最近的研究表明，预测年龄和实际年龄之间的偏差可能是大脑衰老加速表征MDD的标志。然而，目前的结论通常是基于从白人参与者收集的结构MRI信息得出的。这一生物标志物的普遍性需要通过不同民族/种族背景的受试者和不同类型的数据进一步验证。在这里，我们使用REST-meta-MDD，一个从中国多个队列参与者收集的大规模静息状态fMRI数据集。我们开发了一个基于1101个健康对照的堆叠机器学习模型，该模型通过功能磁共振成像(fMRI)
基于多模态的抑郁症检测系统pth文件.zip
11-25
当提到"基于多模态的抑郁症检测系统pth文件"时，这意味着有一个已经训练好的抑郁症检测模型，该模型是基于多模态数据训练而来的。在机器学习的流程中，训练好的模型被保存为pth文件，以便后续使用时可以直接加载预...
基于多模态影像下的抑郁症大脑异常.docx
05-27
### 基于多模态影像下的抑郁症大脑异常 #### 抑郁症概述与全球影响 抑郁症作为一种严重的精神障碍，其临床特征主要包括持续性的心境低落、思考困难、意志活动减少以及认知功能受损等。据统计，全球范围内抑郁症的...
【抑郁数据集】DAIC-WOZ和E-DAIC（Extended-DAIC）
Nirvana_xian的博客
12-12 8963
（E-DAIC）（DeVault等人，2014）是WOZ-DAIC（Gratch等人，2014）的扩展版本，其中包含半临床访谈，旨在支持对焦虑、抑郁和创伤后应激障碍等心理痛苦状况的诊断。：此文件包含参与者ID ，PHQ8（Kroenke等人，20009）二进制标签（PHQ8分数> = 10），PHQ8分数和参与者性别，并对每个正式训练分割的PHQ8问卷的问题。在清音的情况下，即VUV = 0，人声褶皱没有振动，因此值例如F0，NAQ，QOQ，不应使用H1H2，PSP，MDQ，peakSlope和Rd。
根据交谈和3D面部表情判断抑郁症
Doheo的博客
11-27 7507
  附上论文链接《Measuring Depression Symptom Severity from Spoken Language and 3D Facial Expressions》https://arxiv.org/abs/1811.08592   摘要 全世界有超过三亿人患有抑郁，可知抑郁症是个全球性的难题。由于社会歧视，花销以及治疗可行性，患有精神疾病的成年人中60%从未接受过...
抑郁症中的功能性连接组学：对治疗的见解
cc1609130201的博客
06-12 1201
此外，一些研究发现，体征症状严重程度较高的患者SAN内的神经活动较低（例如，背侧中岛皮层失活）[81]，FPN（例如，眶前额叶皮质(OFC)）和SAN（例如，前岛皮质(AI)）之间的低连通性[82]。一些研究还观察到在抑郁症中，视觉网络（VIS）[40]的超连通性以及背侧注意网络（DAN）[40,42]，SAN [40]和运动感觉网络（SMN）[42]的低连通性，尽管这些发现报告的频率比DMN，FPN，SAN和LIM少。然而，左侧背外侧前额叶皮层的确切位置和连接模式因个体而异，导致治疗反应的变异性。
基于深度学习的抑郁症检测混合模型
weixin_50909869的博客
11-15 1089
作者验证了三者的各项指标，accuracy、F1 score、loss and so on,发现audio CNN在抑郁症检测方面上能获得良好的效果,准确率达到98%，损失为0.1%，而text CNN的准确度为92%，损失为0.2%，混合LSTM模型的准确率为0.80%，损失为0.4。提出了一个基于语音和文本的抑郁症倾向检测的混合模型（混合Bi-LSTM和混合LSTM），文章对比研究了语音数据集在Audio CNN上表现特点、文本数据集在Text CNN、以及语音和文本在混合模型上的性能。
MSA+抑郁症模型总结（一）（论文复现）
wei_shuo的博客
07-31 1315
MSA+抑郁症模型总结（一）（论文复现）
D-vlog 用于抑郁症检测的多模态数据集
zly_Always_be的博客
10-11 3792
整理了AAAI2022 D-vlog: Multimodal Vlog Dataset for Depression Detection 论文的阅读笔记
AI抑郁症检测
最新发布
fjfdg666的博客
01-15 1178
可穿戴设备在抑郁症检测中的应用表现出了良好的前景，尤其是在身体活动、睡眠模式和心率数据的收集和分析方面。然而，目前设备和算法仍需进一步优化，尤其是在设备种类多样化和与其他数据的融合方面。设备类型与使用情况可穿戴设备在抑郁症检测中广泛应用，常用设备包括Actiwatch系列和Fitbit系列，主要佩戴于手腕。这些设备通过监测身体活动、睡眠模式、心率和其他生理数据，为抑郁症检测提供丰富的数据来源。数据类型与作用身体活动数据（如步数、卡路里消耗）：用于评估运动量与心理健康的关联。睡眠模式。
多模态情感分析——基于CMU-MOSI和CMU-MOSEI数据集（文末获取源码）
热门推荐
小嘤熊的博客
01-05 1万+
而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。首先，采用早融合策略 将各模态特征进行拼接，然后将拼接的特征输入分类器中，并且每个模态的特征也单独输入 分类器中，最终得到所有组合的分类结果，并将所有分类结果进行晚融合策略。提出了一种新的模型Tensor Fusion Network（张量融合网络，TFN），TFN能够端到端地学习模态内和模态间的动态，采用一种新的多模态融合方法（张量融合）对模态间动态进行建模，模态内动态则通过三个模态嵌入子网络进行建模。
多模态抑郁症检测代码
12-31
### 多模态抑郁症检测代码实现 对于多模态抑郁症检测的任务，通常涉及多种数据源的融合处理，比如文本、音频以及视频等。这些不同类型的输入能够提供更全面的信息来辅助诊断模型的学习过程。 下面是一个基于Python框架PyTorch构建的基础版本多模态抑郁情绪分析网络结构实例： ```python import torch from torch import nn class MultiModalDepressionDetectionModel(nn.Module): def __init__(self, text_input_size=768, audio_input_size=128, video_input_size=(224, 224), num_classes=2): super(MultiModalDepressionDetectionModel, self).__init__() # 文本特征提取器 (BERT预训练模型作为例子) from transformers import BertModel self.text_extractor = BertModel.from_pretrained('bert-base-uncased') self.fc_text = nn.Linear(text_input_size, 50) # 音频特征提取器 (LSTM层为例) self.audio_lstm = nn.LSTM(input_size=audio_input_size, hidden_size=32, batch_first=True) self.fc_audio = nn.Linear(32 * 2, 50) # 视觉特征提取器 (ResNet架构为例) from torchvision.models import resnet18 self.video_extractor = resnet18(pretrained=True) self.fc_video = nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(video_input_size[-1], 50), ) # 融合模块 self.fusion_layer = nn.Linear(in_features=150, out_features=num_classes) def forward(self, texts=None, audios=None, videos=None): outputs = [] if texts is not None: txt_out = self.text_extractor(**texts).last_hidden_state[:, 0, :] txt_out = self.fc_text(txt_out) outputs.append(txt_out) if audios is not None: _, (hid_aud,) = self.audio_lstm(audios) hid_aud = hid_aud.view(-1, 64) aud_out = self.fc_audio(hid_aud) outputs.append(aud_out) if videos is not None: vid_out = self.video_extractor(videos) vid_out = self.fc_video(vid_out.unsqueeze(dim=-1)) outputs.append(vid_out) fused_output = sum(outputs)/len(outputs) if len(outputs)>0 else torch.zeros_like(outputs[0]) logits = self.fusion_layer(fused_output) return logits ``` 上述代码定义了一个简单的多模态抑郁症预测模型类`MultiModalDepressionDetectionModel`[^1]。该模型接收三种不同类型的数据——文字描述(`text`)、语音片段(`audios`)和面部表情图像序列(`videos`)，并通过各自的编码器分别获取每种模式下的表示向量；最后通过加权平均的方式将它们组合起来送入分类头完成最终的情绪状态判断任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值