论文阅读：Fine-grained depression analysis based on Chinese micro-blog reviews 基于中文微博评论的细粒度抑郁分析

原创

已于 2024-04-24 21:49:42 修改 · 2k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读

于 2024-04-24 17:14:49 首次发布

本文构建了含6100条微博的中文标注数据集，用于抑郁程度和原因预测。设计联合预测模型，优于TextCNN、BiLSTM和BERT等基线。实验表明两任务有相关性，联合训练可提升性能。还指出研究局限并给出未来改进方向，如扩大标注、结合多模态信息等。

出处：Information Processing and Management 58 (2021) 102681 —— SCI 1区

标题：

Fine-grained depression analysis based on Chinese micro-blog reviews

基于中文微博评论的细粒度抑郁分析

摘要：

抑郁症是现代社会一个普遍而棘手的问题，它可能导致自杀的想法和行为。近年来，以Twitter或Reddit等社交媒体的帖子为基础，分析抑郁症或自杀的研究取得了很大进展。然而，大多数研究都集中在英语社交媒体上，且抑郁预测通常被形式化为存在或不存在。在本文中，我们构建了一个基于中文微博评论的人工标注数据集，该数据集包含6100条人工标注的微博。我们的数据集包括两个细粒度的任务，即抑郁程度预测和抑郁原因预测。前一项任务的目标是根据微博帖子的抑郁程度从5个类别中选择一个类别，后一项任务的目标是从预定义的7个类别中选择一个或多个导致抑郁的原因。为了建立一个基准，我们设计了一个联合预测抑郁程度和抑郁原因的神经模型，并与TextCNN、BiLSTM和BERT等几种广泛使用的神经模型进行了比较。我们的模型优于基线，在抑郁程度预测上最多达到65+% F1，在抑郁原因预测上最多达到70+% F1和90+% AUC，这表明神经模型取得了令人满意的结果，但仍有改进的空间。我们的工作可以扩展基于社交媒体的抑郁症分析领域，我们的标记数据和代码也可以促进相关研究。

1. 引言：

抑郁症是现代社会普遍存在的一种常见的精神障碍。在全球范围内，超过2.64亿各年龄段的人患有抑郁症(James et al, 2018)。众所周知，抑郁症可能导致自杀，每年导致近80万人死亡。根据世界卫生组织的报告，自杀成为15至29岁人群的第二大死亡原因。因此，抑郁症检测可以识别出已经或将要产生自杀想法的人，从而及时预防自杀。

Saravia, Chang, De Lorenzo, and Chen(2016)提到患有抑郁症的人通常在主观上或客观上是孤独的，因此他们经常利用社交媒体作为平台来分享他们的感受和发泄他们的情绪。因此，社交媒体成为研究者研究抑郁症的热点资源(Hawton, 1987;Joiner Jr, Walker, Rudd， & Jobes, 1999)，自然语言处理(NLP)成为基于社交媒体的抑郁症研究的重要技术。

目前已经提出了几种基于社交媒体的抑郁症分析NLP方法，包括传统的机器学习方法和深度学习方法。然而，之前的大多数工作只将抑郁分析任务视为双向分类问题 (例如，抑郁和非抑郁)。相比之下，我们的工作对抑郁症进行了更细致的分析。此外，之前的大部分工作都集中在使用英语社交媒体文本(如Twitter, Reddit或Facebook)进行抑郁分析，而我们的工作利用了新浪微博，这些微博是用中文写的。

具体来说，我们使用了新浪微博上的“树洞”评论，很多不开心或者抑郁的人会在“树洞”里发表评论，表达自己的感受和想法。在本文中，我们引入了一个人工注释的中文微博数据集，该数据集由6100条微博评论组成，这些评论由心理学和医学专业的研究生和教授注释。在我们的数据集中，抑郁分析被形式化为两个细粒度的任务，即抑郁程度预测和抑郁原因预测。抑郁程度预测是一种五向分类任务，将微博评论分为以下五类:无、轻微、中度、严重或非常严重。对于抑郁原因预测，我们将其视为一个多标签分类任务(Fei, Ji, Zhang and Ren, 2020;Fei, Zhang, Ren and Ji, 2020)，从生理、工作与学习、爱情、家庭、人际关系、其他和无中选择一个或多个原因标签(抑郁程度和抑郁原因预测的类别定义细节请参见3.1节)。为了给我们的数据建立一个基准，我们设计了一个联合预测抑郁程度和抑郁原因的可解释模型。首先，使用BERT (Devlin, Chang, Lee， & Toutanova, 2019)来生成单词表示。然后采用标签感知注意力层(Mullenbach, Wiegreffe, Duke, Sun， & Eisenstein, 2018)，通过识别输入的哪一部分对预测贡献更大，使我们的模型具有可解释性。最后，在输出层使用多任务学习(Caruana, 1997)来联合训练我们的抑郁程度和原因预测模型。

实验评估表明，我们的模型优于TextCNN (Kim, 2014)、BiLSTM (Liu, Qiu， & Huang, 2016)和BERT (Devlin et al .， 2019)等几种广泛使用的神经模型，在抑郁程度预测上达到65+% F1，在抑郁原因预测上达到70+% F1和90+% AUC。进一步的统计分析表明，抑郁程度与抑郁原因标签之间存在很强的相关性，并且我们的模型的一些预测是可以解释的。

目标：

我们的研究目标主要包括以下两个方面。首先，我们旨在研究基于中国社交媒体的细粒度抑郁分析。对于抑郁分析，以往的工作主要集中在英语社交媒体数据上，并进行二元抑郁检测(Coppersmith et al .， 2015;Resnik et al, 2015;Wolohan et al, 2018)。随着近年来对抑郁分析任务研究的不断深入，细粒度的抑郁分析任务越来越受到研究者的关注(Shing et al .， 2018;Zirikly等人，2019)。与检测是否抑郁症的简单二分法不同，抑郁症被分为多种程度，如无、低、中、高。不同的是，我们的抑郁分析工作包括两个细粒度的任务。一是细粒度抑郁程度分级，二是抑郁原因分析。抑郁程度分类是一个五类分类任务，其中抑郁程度又细分为无、轻度、中度、重度和极重度。抑郁原因分析是一个多标签分类任务，对于给定的评论有一个或多个抑郁原因。据我们所知，我们的工作是第一个对抑郁程度和抑郁原因进行细致分析的研究。

其次，我们的目标是为那些使用计算机技术分析抑郁症的人提供资源和方法。随着机器学习和深度学习模型的发展，越来越多优秀的深度学习模型在抑郁分析任务中表现出色，如CNN和RNN。众所周知，BERT预训练模型(Devlin等人，2019)在广泛的NLP任务中取得了最先进的结果，但BERT预训练模型在抑郁分析任务中的应用很少。因此，我们构建了一个相关的专家标注数据集，并提出了一个基于BERT预训练模型的基准模型。

贡献：

综上所述，本文的贡献如下：

我们引入了一个基于中文社交媒体的人工标记数据集，用于细粒度抑郁分析，这与以往主要关注二元抑郁程度预测和英语社交媒体的相关研究不同。我们的数据集对社会学和卫生保健具有现实意义。
我们提出了一种新的抑郁程度和抑郁原因联合预测模型，该模型优于几种强基线，同时具有一定的可解释性。
我们对我们的数据集进行了详细的分析，包括抑郁程度与抑郁原因之间的标签相关性、标签分布等。这些发现可以促进抑郁症早期检测技术的发展。我们的代码公开供研究之用，这项工作中的数据可应要求提供。

2. 相关工作

众所周知，社交媒体的使用有助于检测抑郁症。基于社交媒体上的用户活动，研究人员可以获取抑郁症患者的行动、行为和思维信息(Aldarwish & Ahmad, 2017)。社交媒体具有人口覆盖率大、调查成本低、信息更新实时等优势(Braithwaite, Giraud-Carrier, West, Barnes， & Hanson, 2016)。例如，Jashinsky et al(2014)提出了一种搜索与抑郁和自杀风险因素相关的术语和短语的方法，以找到潜在的与自杀相关的Twitter用户。在他们的工作中，可以观察到Twitter衍生的自杀数据与实际自杀数据之间存在很强的相关性，这表明Twitter可能是实时监控自杀倾向的可行来源。

NLP技术在许多领域都取得了成功，并且越来越多地用于健康和医疗领域的数据驱动研究。为了研究识别Twitter上患有抑郁症和创伤后应激障碍(PTSD)的用户的NLP方法，计算语言学和临床心理学研讨会(CLPsych)引入了一项共享任务(Coppersmith等人，2015年)，参与者在大约1800名Twitter用户上评估了他们的方法。Resnik等人(2015)在语言信号分析中探索了监督话题模型，用于检测抑郁和非抑郁个体。Wolohan等人(2018)将两个支持向量机(svm)与TF-IDF和其他语言特征结合起来，为那些对公众污名敏感的Reddit用户检测抑郁症。Aragón等人(2019)提出了一种称为亚情绪袋(BoSE)的方法，该方法通过一组细粒度的情绪来表示社交媒体文本，他们使用SVM进行二元文本分类，用于抑郁症检测。据我们所知，上述研究仅将抑郁检测作为抑郁与非抑郁的分类问题，没有考虑到细粒度的抑郁程度。据我们所知，上述研究仅将抑郁检测视为抑郁与非抑郁的二分类问题，没有考虑到细粒度的抑郁程度。

随着深度学习的发展，越来越多的深度神经网络模型被应用于抑郁症分析或自杀风险评估。一项共享任务(Zirikly et al ， 2019)引入了自杀风险的多层次评估，将自杀风险分为无风险、低风险、中等风险和严重风险4个级别。卷积神经网络(CNNs)等一些神经模型已被用于抑郁或自杀风险检测(Shing等人，2018;Yates et al, 2017)。Matero等人(2019)使用递归神经网络(RNNs)和预训练语言模型(如BERT) (Devlin等人，2019)，提取情境化嵌入特征和其他用户相关特征，如人格，用于自杀风险评估任务。他们的研究侧重于用户层面的分析，而我们的工作侧重于博文层面的分析。与Cao等人 (2019)和Matero等人(2019)类似，他们也采用了RNN对文本进行编码，但他们专注于使用中国微博评论进行自杀风险预测。具体来说，他们使用树洞评论来预训练面向自杀的词嵌入，并将其应用于非树洞评论的二元自杀风险分类。相反，我们直接利用树洞评论，通过细粒度分析检测抑郁症。

据我们所知，与抑郁症病因分析相关的研究很少。Yusof、Lin和Guerin (2017)声称，他们是第一个使用自然语言处理技术自动识别抑郁症病因的人。然而，他们专注于发现特定人群(如学生或家庭主妇）患抑郁症的潜在原因。相比之下，我们的工作重点是分析个人抑郁的原因。此外，以前的大多数工作都将抑郁预测视为双向或多向分类，没有研究探讨联合预测抑郁程度和抑郁原因的问题。我们的研究是第一个使用中文微博帖子，不仅可以预测抑郁程度，还能分析抑郁原因的工作。

从方法论的角度来看，我们的工作涉及三条技术线。首先，我们利用情境化的词嵌入，从预先训练的深度语言模型(如BERT)中对我们的数据进行微调，这在许多NLP应用中都被证明是成功的。其次，我们还使用了标签感知注意机制来提高我们模型的可解释性，以便更好地分析文本中抑郁程度和原因预测的证据。第三，我们通过多任务学习技术，在抑郁程度和抑郁原因预测任务上联合训练我们的模型。通过分析抑郁程度和抑郁原因的黄金注释，我们发现这两项任务之间存在很强的相关性。因此，我们认为利用多任务学习有利于提高性能，这在我们的实验中得到了验证。具体而言，我们利用广泛使用的共享-私有架构进行神经多任务学习和文本分类。