MentalBERT:Publicly Available Pretrained Language Models for Mental Healthcare(2020 心理健康预训练模型)

精神健康是现代社会的一个关键问题，精神障碍有时会在没有适当治疗的情况下转变为自杀意念。从社会内容中早期发现精神障碍和自杀意念为有效的社会干预提供了一条潜在的途径。预训练上下文化语言表示的最新进展促进了一些特定领域预训练模型的发展，并促进了一些下游应用。然而，目前还没有针对心理健康的预训练语言模型。本文训练并发布了两个预训练的掩码语言模型，即MentalBERT和MentalRoBERTa，以使精神卫生研究界的机器学习受益。此外，我们在几个精神障碍检测基准上评估了我们训练的特定领域模型和预训练的语言模型的几种变体，并证明了在目标领域预训练的语言表征提高了心理健康检测任务的性能。

从Reddit收集我们的预训练语料库，Reddit是一个匿名的社区网络，供有相似兴趣的人讨论。

所以语料是英文的，不支持中文。