阅读笔记--MolGAN: An implicit generative model for small molecular graphs

概要

寻找具有理想性质的新化合物是一项具有挑战性的任务，具有重要的应用，如新药设计。可合成分子的空间是巨大的，在这个空间中寻找是非常困难的，这主要是由于它的离散性质。最近在开发深层生成模型方面取得的进展催生了一系列解决这一问题的有希望的提议。SMILES是一种从分子图派生的基于字符串的表示法。例如苯可以表示为：$c1ccccc1$。所以可以把它看作一个像语句那样的序列，然后利用基于RNN的生成方法来生成。但它的缺点为RNN必须花费能力来学习语法规则和表示的顺序歧义。 此外，这是不适用于一般（非分子）图的方法。SMILES字符串是从基于图的分子表示中生成的，因此在原始图空间中工作可以减少额外的开销。基于似然性的分子图生成方法需要提供固定（或随机选择）的图表示或昂贵的图匹配程序来评估生成的分子的可能性，因为对所有可能的节点排序的评估对于小尺寸的图的计算成本已经是非常高的了。
在这篇文章中作者利用生成对抗网络来生成分子图。并利用强化学习辅助生成具有具体属性的分子。

背景介绍

分子图

$\mathcal{G}$将一个分子表示为一个无向图。对于一个具有N个节点一个分子图可以由如下两个矩阵表示:

• $A\in {\mathbb{R}}^{N\times N\times Y}$：邻接矩阵。$Y$代表着分子图中具有Y种共价键（如单键、双键以及三键）。$A_{ij}\in {\mathbb{R}}^Y$代表着原子$i,j$之间的共价键类型（用$one-hot$向量来表示）。
• $X=[x_1,...,x_N{]}^T\in {\mathbb{R}}^{N\times T}$是节点特征矩阵。每个原子对应于一个节点$v_i\in \mathcal{V}$;这个节点用一个$T$维的one-hot向量$x_i$来表示。

隐式生成模型与似然生成模型

当我们生成图结构数据时，我们希望模型具有置换不变性。否则，我们就要执行一个计算量非常大的图匹配过程来评价模型所生成的图的质量。似然生成模型的优化过程更加稳定并且简单，但显式地评估所有可能节点排列的可能性的计算量很大，也就是似然的方法很难满足置换不变性。但基于生成对抗网络的方法则完全解决了这个问题，因为很多图卷积方法是置换不变的，我们可以用这些图卷积来构建我们的判别器。

GAN 与 Improved WGAN

详见：

• WGAN
• GAN
• WGAN-GP

Deterministic policy gradients

在药物生成中，我们生成的分子，不仅要满足化学定义，而且要有一些有用的性质（比如说易于合成）。而这种目标对于训练过程来说其实是不可微的，所以需要引入强化学习来优化那些不可微的指标的生成过程。
在本文中作者采用了$DDPG$，大致意思是生成器生成将先验$z$生成为一个图结构$\mathcal{G}$。作者构建了一个$Rewardfunction{\hat{R}}_{\psi }(\mathcal{G})$根据$\mathcal{G}$得到一个输出奖励，然后将其和真正的奖励（由外部系统提供，例如，分子的可合成性得分）做均方误差损失，并通过最小化这个损失来提供生成器训练所需的梯度。

模型

模型架构

• 生成器：$N=9，T=5，Y=4$，并且先根据正态分布采样一个32维的潜在表示$z\sim \mathcal{N}(0,I)$。生成器是三层$\mathbf{M}\mathbf{L}\mathbf{P}[128,256,512]$，并且将$tanh$作为每层的激活函数。最后一层被线性投影以匹配X和A维数，并利用$softmax$来进行正则化。
• 判别器与反馈网络架构：两者都使用两层的$RelationalGCN$，但并不共享参数。将图网络的输出经过处理得到图表示向量，并将得到的图表示向量输入一个两层的$\mathbf{M}\mathbf{L}\mathbf{P}[128,1]$来得到最终的输出。$\mathbf{M}\mathbf{L}\mathbf{P}$中判别器采用$tanh$作为激活函数，而反馈网络采用$sigmoid$作为激活函数。

生成器

参考：

• Categorical Reparameterization with Gumbel-Softmax
• 带你认识神奇的Gumbel trick

作者发现预先选择最大尺寸的图，可以以更快的速度训练，并且也更容易优化。生成器的目标函数为：

对于生成过程：采样$z$送入生成器生成A与X，接下来为了得到分子图，采取离散稀疏化送入判别器与奖励网络。但这样将使得生成器失去用来更新参数的梯度。作者采用了三种方法来解决这个问题：

• 不采用离散稀疏化，直接将生成的概率矩阵送入判别器与奖励网络；
• 将X与A与Gumbel噪声相加然后送入判别器与奖励网络；
  
  
• 利用link中提到的方法来获取梯度。

判别器与反馈网络

• 奖励网络是用来近似奖励函数，并利用强化学习来使得模型向不可微的方向进行优化。数据集中的图和生成的图都是奖励网络的输入，但与判别器不同的是，奖励网络要给每个分子打分（比如生成的分子溶于水的可能性有多大，真实的分数由RDKit提供）。并且当生成的分子在化学上无效时，整个奖励网络将输出0。
• 判别器利用WGAN来训练，即：
  

判别器$D_{\varphi }$与奖励网络${\hat{R}}_{\psi }$豆浆图结构作为输入并输出一个标量，并且两者采用相同的架构，但不共享参数。先是由一系列的图卷积$RelationalGCN$：

经过若干层的图卷积后，由下式得到图表示向量：

将得到的$h_{\mathcal{G}}$作为一个MLP的输入得到一个标量。前向传播的过程由此结束。

实验

分子生成

分子图生成任务常用的三个指标：

• Validity：生成的分子中符合化学规定的分子的数量与总生成数量之比；
• Novelty：生成的有效的分子中并不属于原数据集（即新生成的）的分子的数量与总的有效分子数量之比；
• Uniqueness：生成的分子不在数据集中的分子数与有效的分子数之比。这个指标反映了以衡量抽样过程中样本的变化程度。

除此之外，作者还将solubility（可溶性）作为一个实验指标，来进行实验。实验过程中作者发现，尽管使用了WGAN，模型崩溃还是会出现。并且作者还注意到奖励网络需要几个阶段的预训练才能将梯度传播到产生器，否则产生器很容易发散。所以作者在起初的几个epochs里，作者只用对抗损失来训练生成器，在同时也训练奖励网络但并不将${\mathbf{L}}_{RL}$用于训练生成器。作者发现当$L_{RL}$占的比重比较大时，生成分子的有效性这一指标会增加。

药物发现

药物发现任务常用的评价指标：

• Druglikeness：一种化合物成为药物的可能性有多大；常用$\mathbf{Q}\mathbf{E}\mathbf{D}(QuantitativeEstimateofDruglikenes)$，用期望值加权几何平均值来量化化合物特性，捕捉几种药物属性的潜在数据分布。
• Solubility：表示分子亲水性的程度；对数辛醇-水分配系数($\mathbf{l}\mathbf{o}\mathbf{g}\mathbf{P}$)：其定义为一个溶质在两种溶剂中浓度比值的对数。
• Synthetizability：这种方法可以量化一个分子合成的难易程度；SA score（Synthetic Accessibility score）：是一种用概率方法估计综合易用性的方法。

作者在进行实验优化$L_{RL}$时，并不是分别优化以上目标，而是进行了联合优化，将这几个指标相乘作为最终要优化的指标。

实验结果：

总结

MolGAN的一个局限是对于模型崩溃的敏感性。RL与GAN的目标函数都不鼓励产生多样的非独特的输出，因此模型被拉向一个只涉及很少样本可变性的解决方案，如果训练没有及早的停止，最终将导致仅产生少量不同的分子。