MDNN: A Multimodal Deep Neural Network for Predicting Drug-Drug Interaction Events论文解析

MDNN: A Multimodal Deep Neural Network for Predicting Drug-Drug Interaction Events论文解析(MDNN：一种用于预测药物互作事件的多模态深度神经网络)由中南大学高建良老师组发表在2021IJCAI上

---

Abstract

多种药物的相互作用可能导致严重的事件，从而造成伤害和巨大的医疗费用。准确预测药物-药物相互作用（DDI）事件有助于临床医生做出有效决策并制定适当的治疗方案。最近，许多基于人工智能的技术被提出用于预测DDI相关事件。然而，大多数现有方法很少关注DDI事件与其他多模态数据（如靶点和酶）之间的潜在相关性。为了解决这个问题，我们提出了一种用于DDI事件预测的多模态神经网络（MDNN）。在MDNN中，我们设计了一个双通路框架，包括基于药物知识图（DKG）的通路和基于异质特征（HF）的通路，以获得药物的多模态表示。最后，设计了一个多模态融合神经层来探索药物多模态表征之间的互补性。我们在现实世界数据集上进行了广泛的实验。结果表明，MDNN能够准确地预测DDI事件，并优于现有的模型。

1 Introduction

随着药物种类的快速增长，当采用多种药物治疗疾病时，管理药物安全至关重要。药物-药物相互作用（DDI）通常发生在同时服用多种药物的情况下，这可能导致药物不良反应，导致伤害和巨大的医疗费用[Vilaret al.，2014]。然而，DDI可导致不同的生物学后果和事件。例如，药物伊曲康唑和药物阿贝西林相互作用共同导致一个事件，该事件的风险因不良反应的严重性而增加，如图1所示。因此，准确预测DDI事件成为临床上一项重要的任务，它可以帮助临床医生做出有效的决策并制定适当的治疗方案。正确使用多种药物可以最大限度地降低医疗风险，同时最大限度地发挥药物的协同效益。

已经有许多基于人工智能的DDI事件预测模型被提出，包括使用图神经网络分析化学结构相似性[Huanget al.，2020]，在DDI类型预测上实现多任务学习[Jin et al.，2017；Zitniket等人，2018年；Ryuet al.，2018]，建模半监督学习以挖掘标记和未标记药物数据中DDI预测的有用信息[Chuet al.，2019]，并利用知识图总结进行多类型DDI药理作用预测[Y uet al.，2021]。在使用多个数据源预测DDI方面也做出了一些努力，例如获得DDI事件预测任务的药物特征的相似性特征[Maet al.，2018；张等，2015；Denget等人，2020年]。然而，大多数现有方法很少关注DDI事件与其他多模态数据（如靶点和酶）之间的潜在相关性。此外，还没有考虑到多数据的跨模态互补性。

为了解决上述局限性，本工作旨在有效地协助与DDI事件相关的多模态数据的联合表示学习。我们提出了一个用于DDI事件预测的多模态神经网络（MDNN）框架。在MDNN中，我们设计了一个双通路框架，包括基于药物知识图（DKG）的通路和基于异质特征（HF）的通路，以获得药物的多模态表示。然后，受从结构信息中学习的图形神经网络的启发[Hamilton等人，2017；Wanger等人，2019a；Cui等人，2020]，我们提出GNN层通过从DKG中提取结构信息和语义关系来学习药物表示。最后，通过探索药物多模态表示之间的互补性，设计了一个多模态融合神经层来预测DDI事件。我们的贡献总结如下：
（1）我们提出了一种新的多模态深度神经网络，它具有两个路径框架，包括药物知识图路径和异质特征路径。MDNN可以利用DDI事件和多模态表示之间的关联来预测DDI事件
（2）MDNN框架主要有以下优点：（a）MDNN从多模态数据中学习表示，并从多个源中挖掘模态间的相似性(b） MDNN利用药物知识图的拓扑结构信息和语义关系。
（3）我们在真实数据集上进行了大量实验，以证明我们的模型与经典和最新方法相比的有效性。

2 Related Work

DDI事件预测是一项基本任务，可应用于临床和药物决策等许多领域。旨在改善DDI预测的研究工作可概括为两个方向：整合多种药物特征和应用深度学习技术。

通过整合多个数据源来计算相似性，并基于融合的相似性预测DDI，已经做了很多工作。例如，工程[Vilar等人，2014；Abdelazizet al.，2017]综合多种药物特征，计算药物之间的相似性，然后根据融合的相似性准确预测DDI[Zhang等人，2015]提出了一个综合框架，以融合具有适当权重的药物特征的相似性并预测DDI[Maet al.，2018]建议从多种类型的药物特征中学习准确且可解释的相似性度量，用于DDI预测。此外，[Denget al.，2020]提出了一个框架DDIMDL，该框架结合了多种药物特征，以构建预测DDI事件的模型。然而，它们在获取药物丰富的结构信息和语义关系方面受到限制。

近年来，将人工智能技术应用于DDI预测，如深度学习和图形神经网络，引起了人们越来越多的兴趣。与从多个来源获得的药物相似性不同，提出了一个名为DeepDDI[Ryuet al.，2018]的深度学习框架，以使用药物的分子结构作为预测DDI类型的输入。这项工作【Jin等人，2017年】提出了一种新的多任务并矢预测模型，用于预测药物不良反应。MLRDA【Chua等人，2019年】开发了一个多任务半监督学习框架，该框架有效地利用了有利于未标记药物数据DDI预测的信息。

受在各种任务中成功应用图形神经网络（GNN）的启发[Jia等人，2020；Songo等人，2020年；Hao等人，2020年），研究人员还试图利用GNN提高DDI事件预测的性能。例如，Decagon[Zitniket al.，2018]应用关系GNN预测药物对的副作用[Yuey等人，2020]集成了DDI预测任务的图形嵌入方法。此外，CASTER[Huanget al.，2020]开发了一个端到端的学习框架，用于预测药物化学结构的DDI。KGNN[Linet al.，2020]设计了一个有效的DDI预测框架，可以在知识图中捕捉药物及其潜在的邻域。尽管这些方法已经取得了较好的性能，但它们并没有考虑药物多模态数据的一致性和互补性。此外，知识图可以提供多个实体之间的大量结构化信息以及与实体相关联的语义关系。知识图是一个强大的工具[Zhaog等人，2020；Wanget al.，2019b]，一些生物医学知识库已经以这种形式发表。这些基于知识图的方法也已用于DDI预测的结构化场景[Linet al.，2020]。然而，这些方法大多忽略了多模态数据。此外，只有少数方法将不同的药物特征作为独立数据，并且没有考虑跨模态互补性。与这些方法相比，我们的模型使用了一种新设计的图形神经网络来捕获拓扑信息和语义关系，并探索了多模态数据的跨模态互补性，这与现有的方法不同。

3 Problem Formulation

在本节中，我们将阐述我们将要解决的DDI事件预测问题。我们首先介绍了几个基本定义，这些定义将用于问题公式中。
DDI矩阵。形式上，我们表示DDI eventsY∈ (0，yij）Nd×nda表示此预测任务的标签矩阵，其中ndd表示DDI事件矩阵中的药物数量。哎呀∈ Lis是一个标签，其中L={y1，y2，···，yNl}表示标签集，NL表示事件的类型和数量。对于每个DDI事件，yij∈ L表示Drugdian和drugdj之间存在交互事件Yij，Yij=0表示Drugdian和drugdj之间不存在交互事件。

药物知识图（DKG）。我们考虑一种特殊类型的知识图，用于DDI事件预测，命名为药物知识图（DKG），表示为Byg＝（d，r，t）：g= {（d，rdt，t）d）。∈ D、 rdt∈ R、 t∈ T、 D∩ T=∅},(1） 其中，d描述药物实体的子集和尾部实体的子集（药物相关节点，e。G并指出了药物和尾部实体之间的一系列关系。

异构特征（HF）。在本研究中，异质特征包括靶标特征、子结构特征和酶特征。其表述如下：

其中Xt∈RNd×Nt，Xs∈RNd×Ns,Xe∈RNd×Ne分别代表目标特征矩阵、子结构特征矩阵和酶特征矩阵。Nt、Ns和NER分别表示目标、子结构和酶的特征数。

DDI事件预测。鉴于DDI事件矩阵、药物知识图和异质性特征XD，我们旨在预测药物与药物之间的特定相互作用事件。换句话说，我们将DDI事件预测表述为一个多类分类问题。我们的目标是学习预测函数ˆyij=Γ（di，dj |Θ，Y，G，Xd），其中ˆyij表示药物与药物dj之间发生事件的概率，Θ表示函数Γ的模型参数

4 Proposed Method

概述。MDNN的体系结构如图2所示，它由两条主要路径组成：基于DKG的路径和基于HF的路径。基于DKG的路径利用图神经网络在构建的药物知识图上提取药物之间的拓扑结构信息和语义关系。基于HF的路径旨在从不同模式中提取预测信息，以提高学习模型的性能。多模态融合神经网络层用于有效地辅助结构信息和异质特征的联合表示学习，探索多模态数据的跨模态互补性。

在本节中，接下来将详细解释MDNN，包括第4.1小节中基于DKG的路径、第4.2小节中基于HFG的路径以及第4.3小节中的多模式神经融合层。

4.1 The DKG-based Pathway

我们探索了DKG中丰富的拓扑结构和语义关系相关信息的优势，这有利于DDI事件的预测。

Drug Knowledge Graph
对于DDI矩阵中的每个药物，我们收集DrugBank上的药物相关实体，如靶标、转运蛋白等。为了获得丰富的语义信息，我们考虑尾实体的一般功能作为药物与尾部实体之间的关系。例如，药物DB05812有一个名为血清白蛋白（Uniprot ID:P02768）的载体，以及P002768的毒性物质结合的一般功能，导致DKG表达的三倍。通过这种方法，我们可以获得包含丰富的拓扑结构和语义关系信息的药物知识图三元组（药物、关系、尾部实体）。

The GNN Layer
GNN层用于捕获药物知识图中的药物拓扑结构和语义关系。药物知识图hg的初始表示矩阵如下：

其中，nrandnk分别代表DKG中药物、关系和尾部实体的数量。e（0）d∈Rd，e（0）r∈Rdande（0）t∈RDR分别作为药物嵌入、关系嵌入和尾部实体嵌入的初始化，其中是药物知识图中嵌入的维数。

对于每个drugdi，我们统一采样一组固定大小的集合asn（di），而不是使用所有的邻居。将关系的语义明确地纳入药物表征学习是很重要的。因此，我们计算Drugdian和tail EntityTn之间的语义特征得分，其中relationrin如下：

其中（l）−1） rin是drugdi和tail entitytnafter（l）之间的关系表示−1） thGNN层。e（l）−1） DII是从前面的消息传递步骤生成的drugdirepresentation，用于存储来自其（l-1）跳邻居的消息。W（p）1是可训练权重矩阵，b（p）1是偏差向量，Pis是全连接层的数量，？表示元素的乘积。

然后，我们聚合从邻域（di）传播的消息以细化嵌入ofdi。更正式地说，我们首先递归地公式化了DrugDialthLayer的基因表达。我们将邻域聚合函数定义为：

最后一步聚集了druge（l−1） dian及其邻域使用以下聚合函数将e（l）Ns（di）嵌入到向量中

whereW2∈R（2d）×dis为可训练权重矩阵，σ为激活函数relu。⊕表示连接操作。

类似地，我们可以通过传播来自其相邻节点的信息来获得drugdj的Representationedjf。总之，嵌入传播层的优势在于明确利用药物表征的一阶连接性信息。

4.2 The HF-based Pathway

在基于HF的路径中，我们使用异质性特征来计算DDI事件之间的药物相似性。每个特征对应一组描述符，因此药物可以用二进制特征向量表示，其每个条目（1或0）表示是否存在相应的描述符。为了使药物节点表示更加密集，提高向量的精度，我们使用主成分分析（PCA）对特征进行压缩，减少稀疏性。我们使用Jaccard相似性度量从特征向量计算成对药物-药物相似性。

通过Jaccard相似性度量，我们可以得到目标相似性矩阵∈RNd×k，子结构相似矩阵∈RNd×kand酶相似矩阵Ee∈RNd×k，其中nd表示药物的数量，上标k表示异构特征嵌入的维度。

在获得相似矩阵后，我们可以得到drugdiasetdi的嵌入∈Et，esdi∈埃桑代迪∈分别是Ee。

最后，为了进一步探索异质特征的模态间互补性，我们将三个表示向量连接起来，作为嵌入ofdi的最终异质特征，公式如下：

同样，可以得到药物dj的嵌入量dj0。

4.3 Multimodal Neural Fusion Layer

直观地说，基于DKG和基于HF的路径相互提供补充信息。为了实现这两个途径的信息的最佳利用，我们考虑它们的一致性和互补性在所谓的多模态神经融合层。在获得drugdi的嵌入eDiAnde 0 Di后，这些嵌入连接在一起，作为drugdi的最终多模式嵌入ˆEdi。方程可以描述为：

因此，di的嵌入不仅包含异构特征信息，还包含关系的语义信息及其结构信息。类似地，可以获得最终嵌入ˆEdjof药物dj。

然后，使用具有多个完全连接层的多模融合嵌入ˆedijj来预测DDI事件：

其中w（q）3是可训练权重矩阵，b（q）3是偏置向量，qis是全连接层的数量。ρ表示tmax的激活函数。最后，我们使用softmax函数，得到最终的预测分数ˆyij。

在模型优化方面，我们增加了批量归一化层以加快收敛速度，并增加了退出层以避免过度拟合和增强泛化能力。采用交叉熵作为损失函数，对MDNN模型进行了实证训练和优化。此外，我们使用L2正则化来防止模型的过度拟合。

6 Conclusion

在本文中，我们提出了一个新的MDNN模型用于药物相互作用事件的预测。MDNN通过在药物知识图上使用图神经网络，有效地利用拓扑信息和语义关系。此外，MDNN还利用了结构信息和异构特征的联合表示学习，有效地探索了多模态数据的跨模态互补性。实验结果表明，MDNN优于经典和最先进的DDI事件预测模型。

个人总结

放一个AI in graph这个公众号对这篇论文的解析链接，排版的比较完整。
https://mp.weixin.qq.com/s/TyI2-pQpaEDXENl_Qbf5XQ