基于分子图和DDI图嵌入的上下文感知安全药物建议

基于分子图和DDI图嵌入的上下文感知安全药物建议

Context-Aware Safe Medication Recommendations with Molecular Graph and DDI Graph Embedding

阅读文献与代码：

Context-Aware Safe Medication Recommendations with Molecular Graph and DDI Graph Embedding | Proceedings of the AAAI Conference on Artificial Intelligence

bit1029public/Carmen: AAAI-23 paper: Context-aware Safe Medication Recommendations with Molecular Graph and DDI Graph Embedding (github.com)

摘要：

• 现有的模型存在无法区分相似分子结构但是不同功能的药物，无法正确捕捉嵌入空间中药物之间的意外反应（预测未出现的DDI）。
• Carmen由患者表征学习、上下文信息提取、上下文感知GNN和DDI编码四个部分组成。

结论：

• Carmen比最先进的模型取得了显着的性能改进，并且可以通过适当的DDI图编码提高推荐药物的安全性。

解决的问题：

• 通过适当的医学概念嵌入，可以通过测量就诊和药物之间的“距离”在嵌入空间中实现推荐。
• 将分子转换为图不可避免地会导致信息丢失，因为相似的分子可能会转换为相同的图结构。睾酮和雌二醇，这两种药物具有完全不同的功能。（具有相同的官能团但功能不同）
  • 解决上述问题的关键在于如何补偿信息丢失，并使GNN在药物具有相似分子图但功能不同的情况下学习更多可区分的药物表示。
  • 文中提出上下文感知 GNN 模块，它使 GNN 能够将每种药物的上下文信息注入到其表示中**（考虑了它们在处方中的出现模式）**。
• 作者认为“传递性”特征不应该应用于DDI图。
  • 
  • Carmen应用了格式化消息消除来编码DDI，并关闭了“传递性”功能。

细节：

上下文信息提取模块从三个共现矩阵中提取每种药物的上下文信息，产生抽象信息。上下文感知GNN模块巧妙地将上下文信息注入到消息传递中，使GNN能够区分具有相似分子结构的药物。同时，DDI编码模块正确地表示非传递DDI图中的药物，并将生成的药物嵌入与来自上下文感知GNN的表示相结合。最后，我们可以根据患者的表示和学习的药物嵌入矩阵为每个患者给出推荐。

符号	含义
$E_d$	诊断嵌入矩阵
$E_p$	手术嵌入矩阵
$E_m$	药物嵌入矩阵
$h_t$	第$t$次就诊的病人信息表示
$A_{md}$	药物、诊断共现矩阵
$A_{mp}$	药物、手术共现矩阵
$A_{mm}$	药物、药物共现矩阵
$\hat{y}$	当前就诊的药物预测
$y$	当前就诊的真实药物推荐

• 病人表示学习

  • $$V_i^t=(d_i^t,p_i^t,m_i^t)$$

  • $$d_e^t=d^t{E}_d$$

  • 维度变换：将$d,p$变换为$l$维。

  • $$\begin{gathered} d_h^t=GR{U}_d(d_e^t,d_h^{t-1}),p_h^t=GR{U}_p(p_e^t,p_h^{t-1}) \\ {h}^t=W_h[d_h^t;p_h^t] \end{gathered}$$

• 上下文感知药物表示学习

  • 由于现有GNN对具有相似分子结构的药物区分能力不足，因此将药物特定信息注入到 GNN 的消息传递过程中。

  • 训练三个共现矩阵，每个矩阵的每一行由L1范数进行规范化。

  • L1适用于特征之间有关联的情况可以产生稀疏权值矩阵（很多权重为0，则一些特征被过滤掉），即产生一个稀疏模型，可以用于特征选择。L1也可以防止过拟合。

  • $$C_d=A_{md}{E}_d\mathrm{and}{C}_p=A_{mp}{E}_p,\mathrm{where}{C}_d,C_p\in {\mathbb{R}}^{|\mathcal{M}|\times l}$$

  • 加入一个特征注意层，过滤掉琐碎特征，自适应地选择有价值的特征，维度为$l$。

  • $$\begin{gathered} C_{dp}=\left[C_d;C_p\right]W_c \\ {C}_{mm}=A_{mm}{C}_{dp} \\ C=C_{dp}+tanh(C_{dp}{W}_{s1})\odot C_{mm}, \end{gathered}$$

  • 为每个药物进行建模，原子为节点，化学键为边。

  • • 传统GNN节点信息聚合
    • 表示节点$v$的所有邻居节点。

    $$\begin{array}{rl}{z}_{\mathcal{N}(v)}^k& =\mathcal{A}\mathcal{GG}(z_u^{k-1},\forall u\in \mathcal{N}(v)),\\ z_v^k& =\mathcal{UPD}(z_v^{k-1},z_{\mathcal{N}(v)}^k).\end{array}$$

  • 改进的领域信息聚合。（分子图${\mathcal{G}}_m=({\mathcal{V}}_m,{\mathcal{E}}_m)$，$m$表示第$m$种药物）

  • $$z_{\mathcal{N}(v)}^k=\sum _{\forall u\in \mathcal{N}(v)}\frac{W^k{z}_u^{k-1}}{\sqrt{a_u{a}_v}}$$

  • $a_u$和$a_v$分别表示原子$u$和原子$v$的度，表示连接它们的化学键的数量。

  • $${\hat{z}}_{\mathcal{N}(v)}^k=tanh\left(W_{s2}{C}^m\right)\odot z_{\mathcal{N}(v)}^k$$

  • 每个原子都由其邻域信息和额外的图级药物上下文信息编码，每个原子的邻域信息和药物$C^m$的上下文嵌入聚合。

  • $$z_v^k=ϵz_v^{k-1}+{\hat{z}}_{\mathcal{N}(v)}^k$$

  • $ϵ$为超参数。之后将原子表示总结为图形级药物表示。（$K$表示GNN的层数），最终维度为$l$。

  • e m = R ( { z v K , ∀ v ∈ V } ) R ( H ) = σ ( 1 N ∑ i = 1 N h → i ) e_m=\mathcal{R}\left(\{z_v^K,\forall v\in\mathcal{V}\}\right)\\ R\left(H\right)=\sigma\left(\frac{1}{N}\sum_{i=1}^{N}\overrightarrow{h}_{i}\right) em​=R({zvK​,∀v∈V})R(H)=σ(N1​i=1∑N​h i​)

• DDI编码

  • 由于DDI图中的连接药物实际上相互排斥，因此它们在低维嵌入空间中的表示应该相距很远。

  • $$\begin{array}{rl}{z}_{\mathcal{N}(v_{ddi})}^k& ={\mathcal{A}\mathcal{GG}}_{ddi}(z_u^{k-1},\forall u\in \mathcal{N}(v_{ddi})),\\ z_{v_{ddi}}^k& ={\mathcal{UPD}}_{-}(z_{v_{ddi}}^{k-1},z_{\mathcal{N}(v_{ddi})}^k).\end{array}$$

  • $${\mathcal{U}PD}_{-}(z_{v_{ddi}}^{k-1},z_{\mathcal{N}(v_{ddi})}^k)=\gamma z_{v_{ddi}}^{k-1}-z_{\mathcal{N}(v_{ddi})}^k$$

  • 原有公式：$z_v^k=ϵz_v^{k-1}+{\hat{z}}_{\mathcal{N}(v)}^k$

  • $\gamma$为调节平衡的超参数，上述聚合和消除更新的过程称为信息消除。

  • 论文这里给了证明：经过t次信息消除后，两个结点之间的距离会增大。

    根据拉普拉斯以及瑞利商的性质。

    瑞利商性质及证明-CSDN博客

    标准化拉普拉斯矩阵特征值范围为什么小于等于2?（证明）-CSDN博客

• LOSS

  • $$\begin{array}{rl}& L_{bce}=-\sum _{i=1}^{|\mathcal{M}|}{y}_{i}log({\hat{y}}_i)+(1-y_i)log(1-{\hat{y}}_i),\\ & L_{margin}=-\sum _{i:y(i)=1}\sum _{j:y(j)=0}\frac{max\left(0,1-({\hat{y}}_i-{\hat{y}}_j)\right)}{|\mathcal{M}|},\\ & L=(1-\alpha )L_{bce}+\alpha L_{margin}.\end{array}$$

  • 常规

实验总结

• 与safedrug不同在于，本文考虑了节点的度。（节点的度已经被证明是编码图的判别信息）

• DDI可以通过两种方式进行实现：DDI编码（图编码）和DDI损失。

  • 对于DDI损失，对GAMENet有显著的升级，对SafeDrug几乎没有影响。原因是DDI不仅由分子决定，而且隐含在医生开具的就诊记录中。GAMENet仅利用共现信息，使得的DDI缺乏了分子细节（或其他药物属性）。而SafeDrug倾向于提出保守的建议来拟合DDI损失函数，这会影响准确性，因为DDI并不总是与就诊记录一致。从Carmen获得的表示信息量要大得多，因为它考虑了分子结构和就诊记录的贡献，并且可以训练它来控制输出，从而降低了DDI损失带来的负面约束。
  • DDI编码可以处理DDI图不可传递的固有属性，并捕获药物之间的关系，以确保用药的安全性和可靠性，但由于一些DDI存在于EHR测试集中，因此不可避免地降低了准确性。

• 为了衡量分子相似性对预测的影响，我们引入了一个“混淆指数”${\eta }_i$，它表明第$i$种药物的混淆程度是由与之相似的其他药物引起的。

  • $${\eta }_i=\frac{{\sum }_{j!=i}{n}_j{s}_{ij}}{n_i+{\sum }_{j!=i}{n}_j{s}_{ij}}$$

  • $n_j$和$n_i$表示训练数据中第j和第i种药物的出现次数,$s_{ij}$表示第i种药物和第j种药物之间的分子相似性。

  • 当药物的分子结构是唯一时，混淆指数达到其最小值（0）；当数据集由一个单一分子结构主导时，混淆指数接近其最大值（1）。因此，“混淆”提供了一种评估正确预测药物的挑战性的方法。

  • 

  • 很明显，大多数预测较好的药物具有较高的混淆指数η，并且η越大，Jaccard指数的改善越显著，这表明我们的模型的主要收益来自η较大的药物。

• 与基线的比较