用于医疗疾病关系提取的图的多模态学习

疾病知识图是一种连接、组织和访问有关疾病的不同信息的方法，对人工智能（AI）有许多好处。为了创建知识图，有必要以疾病概念之间关系的形式从多模态数据集中提取知识，并对概念和关系类型进行规范化。

我们介绍了REMAP，一种用于疾病关系提取和分类的多模式方法。重新映射机器学习方法将部分、不完整的知识图和医学语言数据集联合嵌入到一个紧凑的潜在向量空间中，然后对齐多模态嵌入以获得最佳的疾病关系提取。

系统化知识正在成为人工智能的支柱，为人工智能注入语义并将其完全集成到机器学习算法中创造了机会。虽然先验语义知识有助于从文本中提取疾病关系，但现有方法无法充分利用多模态数据集。REMAP是一种通过融合结构化知识和文本信息来提取和分类疾病关系的多模式方法。REMAP提供了一个灵活的神经架构，可以轻松发现、访问和验证疾病概念之间人工智能驱动的关系。

REMAP指定基于图形和基于文本的深度转换函数，这些函数分别嵌入每种数据类型，并优化单峰嵌入空间，以便它们捕获疾病知识图的拓扑或疾病概念的文本语义。为了实现数据融合，REMAP使用共享疾病概念作为锚，通过一种新的对齐惩罚损失对齐单峰嵌入空间。通过这种方式，REMAP可以有效地建模特定于数据类型的分布和不同的表示，同时还可以对齐不同数据类型的嵌入。此外，REMAP可以在图形和文本数据类型上进行联合训练，但只能在两种模式中的任何一种上进行评估。

总之，本研究的主要贡献是：

• 我们开发了REMAP，一种用于提取和分类疾病关系的灵活多模式方法。REMAP融合了知识图嵌入和深层语言模型，能够灵活地适应缺失的数据类型，这对于REMAP的验证和向生物医学实现的过渡是必要的。

• 我们严格评估REMAP对于疾病关系的提取和分类。为此，我们创建了一个使用远程监控的培训数据集和一个由三个领域专家（所有的医生）提供的高质量的黄金标准注释测试数据集。我们的评估表明，在人类标注的数据集上，REMAP达到了88.6%的微观准确率和81.8%的micro-F1分数，分别比基于文本的方法提高了10和17.2个百分点。此外，REMAP获得了最好的性能，89.8%的微观准确率和84.1%的micro-F1分数，分别超过基于图形的方法8.4和10.4个百分点。

性腺机能减退与Goldberg-Maxwell的关系探讨

性腺机能减退和Goldberg-Maxwell综合征是分开的和不同的疾病。然而，医生发现鉴别诊断这两种疾病很有挑战性，特别是考虑到Goldberg-Maxwell综合征是一种罕见的疾病。鉴别诊断是一个过程，医生在两个或两个以上的条件，可能是一个人的症状。

下图说明了当使用多模式学习时，性腺机能减退和Goldberg-Maxwell综合征之间的“鉴别诊断”（DDx）关系的预测如何从错误预测变为正确预测。REMAP从文本中正确识别疾病，并将其与知识图中的疾病概念相结合。

例如，性腺机能减退和Goldberg-Maxwell综合征具有许多类型鉴别诊断的优势。此外，元路径在图中连接这些疾病，例如二阶“鉴别诊断”→ “鉴别诊断”的元路径，其出图程度都比较高。在联合学习的情况下，基于文本的模型可以从图形模态中提取部分疾病表征，以更新其内部表示，从而改进基于文本的关系分类。

Publication

Multimodal Learning on Graphs for Disease Relation Extraction
Yucong Lin, Keming Lu, Sheng Yu, Tianxi Cai, and Marinka Zitnik
In Review2022

Code

Datasets and Pytorch implementation of REMAP are available in theGitHub repository.

Authors

• Yucong Lin

• Keming Lu

• Sheng Yu

• Tianxi Cai

• Marinka Zitnik

论文链接：

https://arxiv.org/abs/2203.08893

代码&数据：

REMAP指定基于图形和基于文本的深度转换函数，这些函数分别嵌入每种数据类型，并优化单峰嵌入空间，以便它们捕获疾病知识图的拓扑或疾病概念的文本语义。为了实现数据融合，REMAP使用共享疾病概念作为锚，通过一种新的对齐惩罚损失对齐单峰嵌入空间。通过这种方式，REMAP可以有效地建模特定于数据类型的分布和不同的表示，同时还可以对齐不同数据类型的嵌入。此外，REMAP可以在图形和文本数据类型上进行联合训练，但只能在两种模式中的任何一种上进行评估。

总之，本研究的主要贡献是：

• 我们开发了REMAP，一种用于提取和分类疾病关系的灵活多模式方法。REMAP融合了知识图嵌入和深层语言模型，能够灵活地适应缺失的数据类型，这对于REMAP的验证和向生物医学实现的过渡是必要的。

• 我们严格评估REMAP对于疾病关系的提取和分类。为此，我们创建了一个使用远程监控的培训数据集和一个由三个领域专家（所有的医生）提供的高质量的黄金标准注释测试数据集。我们的评估表明，在人类标注的数据集上，REMAP达到了88.6%的微观准确率和81.8%的micro-F1分数，分别比基于文本的方法提高了10和17.2个百分点。此外，REMAP获得了最好的性能，89.8%的微观准确率和84.1%的micro-F1分数，分别超过基于图形的方法8.4和10.4个百分点。

性腺机能减退与Goldberg-Maxwell的关系探讨

性腺机能减退和Goldberg-Maxwell综合征是分开的和不同的疾病。然而，医生发现鉴别诊断这两种疾病很有挑战性，特别是考虑到Goldberg-Maxwell综合征是一种罕见的疾病。鉴别诊断是一个过程，医生在两个或两个以上的条件，可能是一个人的症状。

下图说明了当使用多模式学习时，性腺机能减退和Goldberg-Maxwell综合征之间的“鉴别诊断”（DDx）关系的预测如何从错误预测变为正确预测。REMAP从文本中正确识别疾病，并将其与知识图中的疾病概念相结合。

例如，性腺机能减退和Goldberg-Maxwell综合征具有许多类型鉴别诊断的优势。此外，元路径在图中连接这些疾病，例如二阶“鉴别诊断”→ “鉴别诊断”的元路径，其出图程度都比较高。在联合学习的情况下，基于文本的模型可以从图形模态中提取部分疾病表征，以更新其内部表示，从而改进基于文本的关系分类。

Publication

Multimodal Learning on Graphs for Disease Relation Extraction
Yucong Lin, Keming Lu, Sheng Yu, Tianxi Cai, and Marinka Zitnik
In Review2022

Code

Datasets and Pytorch implementation of REMAP are available in theGitHub repository.

Authors

• Yucong Lin

• Keming Lu

• Sheng Yu

• Tianxi Cai

• Marinka Zitnik

论文链接：

[2203.08893] Multimodal Learning on Graphs for Disease Relation Extraction (arxiv.org)

代码&数据：

GitHub - Lukeming-tsinghua/REMAP: A repo for REMOD: relation extraction algorithm based on multimodality knowledge distillation

文章来源地址：

Precision Medicine Oriented Knowledge Graph - MARINKA ZITNIK (harvard.edu)

用于疾病关系提取的图的多模态学习 (qq.com)