《Deep reinforcement learning for de novo drug design》论文解读

1，摘要
　　我们设计并实现了一种新的计算策略，用于从零开始设计具有期望属性的分子，称为ReLeaSE　（Reinforcement Learning for Structural Evolution，结构进化强化学习）。基于深度学习和强化学习方法，ReLeaSE集成了两个深度神经网络——生成和预测神经网络，这两个神经网络被单独训练，但都用于生成新的目标化学库。ReLeaSE仅使用简化分子线性输入系统（SMILES）字符串来表示分子。生成模型通过堆栈增强的记忆网络来训练，以产生化学上可行的SMILES字符串，预测模型则用来预测新生成化合物的期望属性。在该方法的第一阶段，使用监督学习算法分别训练生成模型和预测模型。在第二阶段，两种模型使用RL方法一起训练，以偏向于产生具有所需物理和/或生物特性的新化学结构。在该概念验证研究中，我们使用ReLeaSE方法设计化学库，该化学库偏向于结构复杂性，偏向于具有最大、最小或特定物理属性范围的化合物，如熔点或疏水性，或者偏向于对Janus蛋白激酶2具有抑制活性的化合物。本文提出的方法可用于找到产生对单一或多个期望属性进行优化了的新化合物的目标化学库。
２，引言
　　大数据和人工智能的结合被世界经济论坛称为第四次工业革命，可以从根本上改变科学发现的实践。人工智能正在革新医学，包括放射学、病理学和其他医学专业。深度学习(Deep learning, DL)技术开始在药物发现领域得到应用，包括分子对接、转录组、反应机制阐明和分子能量预测。
　　许多新药开发项目的关键步骤是根据现有的结构-活性关系(SAR)数据，为新的先导化合物生成(从头设计)或从现有或综合可行的化学库中选择化合物，建立一个动机良好的假设。设计假设往往偏向于首选化学(11)或受模型解释(12)的驱动。设计具有理想性能的化合物的自动化方法在过去15年中已经成为一个活跃的研究领域。合成可行的具有潜在类药物性质的化学物的多样性一般在10＾30到10＾60之间。尽管在计算算法、硬件和高通量筛选技术方面取得了巨大的进步，但这个虚拟库的大小限制了它通过系统构建和评估每个单独化合物来进行详尽的抽样和测试。有人提出了局部优化的方法，但它们并不能保证最优解，因为设计过程收敛了局部最优解，或随机采样的“实际”最优解，或限制了对可被详尽筛选的化学空间的精细化区域的研究。
　　值得注意的是，最近提出了一种基于分子连续编码的化学空间探测方法。它允许在化学空间中进行高效、定向的基于梯度的搜索，但不涉及向特殊物理或生物特性偏置库。此外，还提出了另一种利用递归神经网络(RNNs)生成具有理想生物活性分子库的新方法;然而，生成的分子的属性不能被控制。作为生成具有所需性质的新分子的工具，一种对抗性自编码器被提出；然而，选择感兴趣的化合物是通过对大型化学库的虚拟筛选，而不是通过设计新的分子。具体来说，将化学描述符的潜在空间中的点投影到筛选数据库中最近的已知分子上，即hit化合物。
　　在此，我们提出了一种基于深度强化学习(deep reinforcement learning, deep RL)的新方法来生成具有理想物理、化学和/或生物活性的从头合成化合物。RL是人工智能的一个子领域，用于解决动态决策问题。它包括分析可能的行动和估计行动与其可能结果之间的统计关系，然后确定一种试图找到最理想结果的解决方案。RL和神经网络的结合可以追溯到20世纪90年代。然而，随着DL的发展，得益于大数据，新的强大的算法方法正在出现。目前RL正在复兴，尤其是当它与深度神经网络相结合时，即deep RL。最近，RL被用于在游戏Go中实现超人的性能，考虑到10＾140多个可能的解决方案的理论复杂性，这被认为是一项不可能完成的任务。人们可能会看到类似于化学空间探索的复杂性的一种算法，它避免了通过暴力计算来检查每一个可能的解决方案。下面，我们描述了deep RL在设计具有所需特性的化学库方面的应用，并表明我们称为“ ReLeaSE”(结构进化的强化学习)的方法为这个问题提供了一个合理的解决方案。
　　所提出的ReLeaSE的方法弥补了前面讨论的方法上类似的一小部分方法的不足。本文提出的方法最独特的创新之处在于，通过简化的分子输入行输入系统(smile)字符串来简单地表示分子，这些字符串仅用于该方法的生成和预测阶段，并将这些阶段集成到包含RL模块的单个工作流中。我们证明ReLeaSE使设计的化学文库具有理想的物理化学和生物特性。下面，我们将讨论该算法及其在设计目标化学库中的概念验证应用。