【论文夜读】【随笔】AI结合进基础科研(化学药理学)

【论文夜读】【随笔】AI结合进基础科研(化学药理学)

其实当今的AI还称不上强人工智能，期望其能推导公式主导研究方向，实在是不大可能（毕竟就算自动驾驶都还玩不溜）。但是在某个大框架下，使用AI来做科研的助力还是很有前景的。其实外卖出租车并非AI的最好应用，只是学计算机的都去搞外卖出租车了，真的做科研的又陷于实验苦战不能精通编程和机器学习的原理，所以结合起来困难。但是事实上，科研领域的问题比外卖出租车这些日常生活的问题使用数学表征起来更加容易（因为科研各个领域早就有完备的数学模型）。今天看的就是将AI结合进基础科研的2篇代表性paper。

---

概括

这两篇的内容大概如下：

• 基于序列的从零设计分子的生成模型：Molecular De-Novo Design through Deep Reinforcement Learning：使用强化学习和RNN，生成查询结构的类似物，以及预测、生成对生物学目标有实际意义的化合物。
• 零开始自学设计新型药物，UNC提出的结构进化强化学习：Deep Reinforcement Learning for de-novo Drug Design ：名为「结构进化强化学习」（Reinforcement Learning for Structural Evolution），又称 ReLeaSE。ReLeaSE 既是一种算法，也是一种计算机程序，它将两种神经网络合二为一，二者可被分别视为老师和学生。老师了解大约 170 万种已知生物活性分子化学结构词汇背后的句法和语言规则。通过与老师合作，学生逐渐学习并提高自己的能力，创造有望作为新药使用的分子。

---

Molecular De-Novo Design through Deep Reinforcement Learning

数据如何表达？4-(氯甲基)-1H-咪唑的三种表示。描述源自分子的SMILES的one-hot向量表示。这里显示的是简化的vocabulary，而在实际实验中使用了覆盖训练数据的全面的vocabulary。

备选元素：

$$elements \in \{ H,B,C,N,O, F, Si, P, S,Cl,Br,Ig \}$$

如何构建模型的说明。从在ChEMBL上训练的Prior网络开始，使用SMILES生成的增强似然(augmented likelihood)来训练Agent。

模型在生成右侧分子时如何运行的原理。下一个标签的条件概率可以看做模型的之前选中标签的一个的函数。 在y轴上示出了在当前步骤中选中标签的概率分布，并且在x轴上示出了在该实例中可能被采样的标签。其中E = EOS。

不同模型生成的随机选择SMILES。

本文的思路是先由一个RNN学习一些分子结构的先验知识，然后再用先验的模型和评估函数去让Agent RNN学习设计分子，最终Agent RNN可以设计出真正有意义的分子。

---

Deep Reinforcement Learning for de-novo Drug Design

这一模型原理过程可以借鉴语言学习过程来描述：学生掌握分子字母表及语言规则之后，他们就能自己创造新『词』（也就是新分子）。如果新分子实用且达到预期效果，老师就会批准。反之，老师就会否决，强制学生避开糟糕的分子并去创造有用的分子。

生成具备期望属性的新型化合物 SMILES 字符串的深度强化学习算法工作流程。(A) 生成 Stack-RNN 的训练步。(B) 生成 Stack-RNN 的生成器步骤。在训练过程中，输入 token 是一个当前处理的简化分子线性输入系统（SMILES）字符串（来自训练集）中的一个字符。该模型根据前缀（prefix）输出下一个字符的概率向量 $p_{\theta}(a_t|s_{t − 1})$。参数$\theta$的向量通过交叉熵损失函数最小化进行优化。在生成器步骤中，输入 token 是前一步生成的字符。然后从分布$p_{\theta}(a_t|s_{t − 1})$中随机采样字符$a_t$。

上边的图是生成新型化合物的强化学习系统的总体流程。下边的图是预测模型机制。该模型将SMILES字符串作为输入，然后提供一个实数（即估计属性值）作为输出。该模型的参数使用$L_2$平方损失函数最小化进行训练。

具有interpretable gate激活函数的Stack-RNN单元的示例。越红代表输出的对应值越接近1，越红代表输出的对应值越接近-1；

对生成的分子进行聚类：基于预测模型P的分子性质预测对分子着色，其值由右侧的颜色条显示。