R2-DDI: 一种应用于DDI预测的关系感知的特征细化方法

R2-DDI: relation-aware feature refinement for drug–drug interaction prediction

基本信息

这是一项由微软研究院的研究员近期发表在briefings in bioinfomatics上的成果，文章提出一种新的药物相互作用预测模型，主要创新点在于在特征提取阶段加入了对药物对关系特征的考虑，加入关系特征后获得的药物对表示能够提供更为准确的预测，性能达到最先进。

博客创建者

武松

博客贡献人

武松：主要内容介绍

作者

Jiacheng Lin, Lijun Wu, Jinhua Zhu, Xiaobo Liang, Yingce Xia, Shufang Xie, Tao Qin and Tie-Yan Liu

标签

drug–drug interaction, relation-aware, feature refinement, consistency training

摘要

准确预测药物-药物相互作用（DDI）是药物发现中的一个重要应用和宿主研究课题，特别是在患者使用药物联合治疗时避免不良反应。目前，机器学习和深度学习方法在DDI预测方面取得了巨大的成功。作者认为，在构建DDI预测模型时，大多数工作都忽略了关系类型的重要性，并提出了一个新的R2-DDI框架，它引入了一个关系感知特征细化模块用于药物表示学习。主要贡献包括以下几个方面：

• 提出了一种新的称为R2-ddi的ddi预测框架，在继承此前的优秀模型所考虑到的药物内部信息和药物对之间信息的同时，加入了关系类型的特征。模型包含药物特征提取模块和特征融合细化模块；

• 使用多分支结构扩展了我们提出的模型，并利用对不同分支的一致性训练来提高模型的泛化能力

• 模型取得了最先进的性能

问题定义

给定药物数据集，其中包含有多个三元组(Da, Db, Ri), 其中Da、Db表示数据集中两种不同的药物，Ri表示二者间可能发生的某种关系，DDI任务通常是学习一个映射函数：f: D x D x R -> [0, 1] 来预测Da和Db之间发生Ri关系的可能性。工作目标就是学习这个函数，在推理阶段使用0.5为阈值来判定关系是否发生，若结果大于0.5则认为存在这种类型的关系，反之则不存在。

方法

方法描述

特征提取

使用药物的图数据结构作为数据输入，对于每个三元组$(D_a、D_b、R_i)$，药物$D_a$和$D_b$表示为$D_a=(V_a、E_a)$和$D_b=(V_b、E_b)$，其中$V_a$、$V_b$表示节点（原子），$E_a$、$E_b$表示节点（原子）之间的边（键）。药物图数据是从SIMLES串使用RDKit转换得到的。作者使用DeeperGCN作为backbone进行药物的初步特征提取，DeeperGCN是为了解决普通GCN网络在大规模图数据以及当网络过深的情况下出现过拟合、过平滑还有梯度消失等问题而提出的，能够提高图数据特征提取的性能。DeeperGCN通过如下公式获得第$l$层的节点（原子）$i$的表示：

对于两个药物所获得的每一个原子级表示，分别用$h^g$和$t^g$来进行表示，用如下公式对每个原子表示分别做最大化和平均池化操作并连接在一起得到两个药物的图级表示：

关系感知的特征细化

在过去的工作中，两种药物的关系信息通常直接在最后进行预测时学习一个表示关系的矩阵或者向量即可。相关的工作例如在 DSN-DDI中，作者使用公式

来将关系表征矩阵$M_r$与药物对表示进行结合，其中$M_r$是简单的通过字符嵌入得到的向量。在SA-DDI中，作者使用公式

来将关系表征向量${\mu }_r$与药物对表示融合，其中$M_r$也是简单的通过字符嵌入得到的向量。
在最新的工作中，强调了同时考虑单个药物分子内部表示和药物对之间分子交互信息的重要性，如DSN-DDI所提出的双视图特征提取网络，就同时考虑了inter-view和intra-view两种视图特征的融合，在MIRACLE中也考虑到了这一点。
尽管如此，作者认为过去的工作都没有很好的利用到药物对的关系r的信息，考虑到两种药物可能有多种反应关系，而之前的药物特征建模难以分辨这些不同的关系类型，然而简单的关系建模又会导致性能问题（如DSN-DDI中所说），于是作者提出要将关系特征在特征提取阶段就进行有效的考虑，从而提出了关系感知特征细化框架。使用如下公式：

将关系特征r融入到提取得到的药物特征$\tilde{h}$和$\tilde{t}$中，此时的药物特征$\tilde{h}$和$\tilde{t}$就是relation-aware的，对于关系敏感，从而使得关系并通过如下公式来获得最终的预测结果：

这个关系感知模块就是这篇文章的重点。

多分支网络与一致性训练

为了提高模型的泛化性，作者对模型构建多分支模型进行一致性正则化(consistency regularization)。将本来的具有关系感知特征细化模块的网络设为主分支(main branch)，另外移除对药物对或者关系特征的特征细化操作，从而产生另外3个分支：(0, $\delta$t, $\delta$r)，($\delta$h, 0, $\delta$r)，(0, 0, 0)，其中用0表示的位置就是去除了相应药物或者关系特征的特征细化操作。对于分支两两之间使用Loss函数来进行一致化训练，各个Loss函数如下：
对每一对的Loss函数进行加权和得到整体的一致性训练Loss函数$L_{cons}$：

一致性训练相当于在正常的有监督训练的基础上对输出进行的正则化，因此对于每个分支还需要有监督训练的Loss函数，各个分支在有监督训练下的Loss函数如下：


对各个分支有监督Loss函数进行加权和，并与整体的一致性训练Loss函数结合，得到整个模型的Loss函数：

该模型的训练步骤如下所示：

药物数据输入模型后得到每个分支模型输出，首先计算每个分支模型有监督下的二值交叉熵，然后计算一致性Loss，最后计算整体框架的Loss函数，用该Loss来执行梯度下降，更新模型参数。

实验设置

数据集

同DDI任务的大多数任务一样，使用目前最流行的两个真实世界DDI数据集：DrugBank和TWOSIDES来进行实验。前者中的每个药物对只有一个关系类型，后者数据集中的每个药物对有多个关系类型。作者遵循GMPNN论文中的方法，对数据集进行了预处理。经过处理的DrugBank数据集中有大约191k个药物的三元组$(D_a、D_b、R_i)$，共包含1708个药物以及86种关系类型，TWOSIDES数据集中包含4.5M个三元组，645个药物以及963种关系类型。作者通过替换药物对中的一个药物重新组成三元组$(D_a、D_b、R_i)$的方法来生成负样本。作者遵循GMPNN论文中对于transductive setting和inductive setting的设定，分别进行了实验。

评估指标

accuracy (ACC), AUROC, average precision (AP) and F1 score

Baselines

• MR-GNN：使用多分辨率和对偶图神经网络进行DDI预测
• MHCADDI：提出了一个用于药物表示建模的图共注意模块
• SSI-DDI：在每个图层引入子结构-子结构相互作用来进行DDI预测
• GAT-DDI：使用GAT网络进行药物建模
• GMPNN：提出了用于DDI预测的可学习的大小自适应药物子结构

实验效果对比

transductive setting

inductive setting

可以看到，在两种设定场景下，R2-DDI基本都取得了最好的效果。在transductive setting下的实验证明了R2-DDI的有效性，在inductive setting下的实验证明了R2-DDI在真实世界数据上也具有最好的泛化性。值得注意的是，一般情况下DDI任务的inductive setting中，会将数据集分为两个部分进行不同的程度的inductive训练。本文工作将DrugBank数据集分为s1和s2，其中：s1中每对药物中两个药物都没有在训练集出现过，s2的药物对中有一个药物出现在训练集。因此，s1的训练将更困难一些，这也是s1一般较s2效果差的原因。

研究

文章设置了多个研究型的实验，来验证所提出方法的各个模块的有效性。

消融研究

在两种设置情景下，完全采用本文R2-DDI设置的各个模块的性能最好，去除或改变某个模块的设置都会导致性能下降。

多分支结构的主分支有效性

通过这个实验表面特征改进程度最大的主分支$(\delta h,\delta t,\delta r)$具有最好的性能，即证明了考虑关系r的信息的有效性，因为主分支是关系信息融合程度最高的一个分支。

药物特征可视化

为了更好地理解有和没有特征细化模块的R2-DDI之间的差异，作者使用可视化工具t-SNE来可视化它们的药物嵌入，将每种方法的学习嵌入投射到一个二维空间中。从实验结果我们可以观察到具有特征细化模块的R2-DDI能有效地学习药物嵌入。

总结

这篇文章在肯定目前工作在multi-view方向上的探索基础上，进一步指出了以往工作中忽略的一点：药物对关系特征r与药物表示之间的交互。于是作者在这个方向进行了探索并通过实验证明了这一思路的可行性。

亮点

• 创造性地提出要更深入的考虑药物关系r，并与药物表征进行交互，建立关系感知的细化特征，以更好地预测DDI
• 用多分支结构扩展我们提出的模型，并利用对不同分支的一致性训练来提高模型的泛化能力
• 进行了丰富的研究性实验，充分验证了考虑关系r的有效性，案例可视化进一步显示了我们的特征学习的优越性。
• 发现了现有各个数据集内的不均衡性——每种关系的数据量变化很大。结果上，不同关系的预测性能之间差异也很大，可能是由于数据集导致的。以及发现了各数据集间种类数量不同的问题，导致用一定数据集训练的模型不能很好的迁移到其他数据集上去。这两项问题的发现，都是对于现有数据集的改进方向。

不足

• 对于关系r与药物表示进行交互的模块设计得太简单，这种简单的设计虽然带来了优越的效果，但其可解释性不强

相关知识链接

下载

$R^2$-DDI

源代码资源

$R^2$-DDI代码

基准实验涉及的论文

MR-GNN
MHCADDI
SSI-DDI
GAT-DDI
GMPNN

BibTex

@article{lin2023r2,
  title={R2-DDI: relation-aware feature refinement for drug--drug interaction prediction},
  author={Lin, Jiacheng and Wu, Lijun and Zhu, Jinhua and Liang, Xiaobo and Xia, Yingce and Xie, Shufang and Qin, Tao and Liu, Tie-Yan},
  journal={Briefings in Bioinformatics},
  volume={24},
  number={1},
  pages={bbac576},
  year={2023},
  publisher={Oxford University Press}
}