上海交通大学袁野团队提出GexMolGen模型，通过基因表达特征的大语言模型编码实现跨模态分子生成

最新推荐文章于 2025-04-30 16:36:16 发布

Python编程杰哥

最新推荐文章于 2025-04-30 16:36:16 发布

阅读量1k

点赞数 17

文章标签：语言模型算法人工智能大数据学习计算机视觉自然语言处理

本文链接：https://blog.csdn.net/xx_nm98/article/details/144544066

版权

基于遗传信息设计具有药物活性的新分子是一项具有挑战性但很有前途的任务。传统的搜索方法将观察到的基因表达变化，与数据库中记录到的分子微扰实验中的基因表达变化进行比较，导致搜索空间高度受限，无法容纳分子空间内的巨大可能性。此外，它们不能通过直接比较跨模态相似性来有效地缩小搜索空间。跨模态搜索方法的瓶颈限制了分子生成方法的性能。

2024年10月27日，上海交通大学袁野教授团队在Briefings in Bioinformatics上发表文章GexMolGen: cross-modal generation of hit-like molecules via large language model encoding of gene expression signatures。

作者提出了一种基于交叉模态生成的解决方案，称为GexMolGen（gene expression-based molecular generator，基于基因表达的分子生成器），它仅使用基因表达特征就能生成具有药物活性的分子。这些特征是通过输入控制和期望的基因表达状态来计算的。GexMolGen采用“先对齐后生成”的策略，在一个映射空间内对齐基因表达特征和分子，特别是应用大语言模型来实现基因编码器和分子解码器，实现跨模态生成分子。实验表明，GexMolGen的性能超越了现有方法。

如图1所示，GexMolGen是一个通用框架，能够从两种特定的基因表达输入中产生期望的分子：初始状态和期望状态。基本原理是分子结构与其产生的差异基因表达相关，也称为基因表达特征。GexMolGen采用“先对齐后生成”的跨模态生成策略。如图1A所示，模型包括四个步骤。

图1 GexMolGen结构图

第一步是对每个模态进行编码。对于分子编码器（如图1B所示），作者在ChEMBL数据集上预训练了一个基于支架的分子生成器，然后使用其编码器产生分子嵌入，从而比基于SMILES的编码器更有效地捕获结构信息。对于基因编码器（如图1C所示），作者采用先进的单细胞基础模型scGPT来编码扰动前后的基因表达。然后，计算基因嵌入空间内的差异来表示表达特征。

第二步，如图1C所示，是通过对齐来微调每个编码器。由于复杂的负例对最终的比对效果至关重要，作者采用了层次基因-分子匹配方法，通过迭代细化粒度来增强对比学习。这种比对将基因表达特征和分子投射到一个统一的空间，为从基因嵌入到分子嵌入的转变做准备。

第三步，如图1E所示，由名为“增强器”的模块实现，该模块使用教师增强技术进行模型训练，并以自回归的方式应用。通过主成分分析（PCA）和分节（token），将分子嵌入离散为分子标记。该模块采用波束搜索（beam search）优化生成的多样性。

最后，通过对分子嵌入进行检索和逆PCA，对推断出的标记进行重新排序，使其连续。然后将它们输入分子解码器（如图1D所示）以生成分子图。在训练阶段，该模块需要计算重构损失，在框架内形成一个封闭的训练回路。

对于分子编码器（见图1B），层次变分自编码器将模体（motif）作为生成小分子的最小构建块。它对输入分子图进行分层编码，形成一个原子层（atom layer），连接层（attachment layer），和一个模体层（motif layer）⁠。每一层都利用前一层作为其编码条件，并反向（即按照模体-连接-原子的顺序）进行消息传递，得到编码的原子特征。而对于分子解码器（图1D）而言，则是按照原子-连接-模体的顺序，从原子特征出发进行解码。

在图1C中，一个被称为scGPT的单细胞大语言模型被用作基因编码器。在大量未标记的单细胞表达数据的训练下，该模型显示了捕获潜在生物信号的潜力。来自scGPT的预训练基因标记可以唯一地标识输入数据中的每个基因，从而在编码过程中允许灵活的基因输入。模型接收两组基因表达数据：初始和期望（即扰动后）的数据。两组数据分别经过相同的编码管道，进一步利用掩码语言模型（MLM）任务对scGPT进行微调，通过放大误差指数自动赋予差异表达基因更大的权重。然后，计算期望状态和控制状态之间编码后嵌入的差异，得到后续比对的基因表达特征的表示。这样得到的基因信息进一步与分子信息对齐和比对（见图1A），旨在提取遗传模式和小分子模式之间的相互信息，从而增强生成模型的可控性。在这个过程中，采用对比学习进行多模态匹配，并引入了层次基因-分子匹配策略来克服模型崩溃。

分层聚类通过计算数据的相似度，一步一步地将数据合并到聚类中，直到形成完整的树状结构。作者使用这种策略将小分子嵌入聚类，将分子聚类成簇，模型可以在粗分辨率下由交叉熵（CE）损失函数引导，要求基因编码器根据基因表达特征对相应的扰动进行分类。基因编码器的输出与分子特征通过对比学习来对齐，优化的目标是最小化InfoNCE损失函数。InfoNCE损失的目的是最小化正样本之间的距离，最大化负样本之间的距离。总的来说，在学习过程中，基因编码器优化了两个功能：InfoNCE损失用于对比学习，以及交叉熵损失用于层次化的基因-分子匹配。

在经过基因编码之后，基因可以分别由多个分节（token）组成的串来表示。为将由分子中不同原子特征所组成的特征矩阵也token化，作者使用了PCA算法。然后，token化的基因和分子共同组成序列，输入自回归模型进行模态转换，如图1E所示。自回归模型的输出在分子token推断器中通过波束搜索进行序列生成。波束搜索是序列生成任务中常用的一种搜索算法，它利用动态规划原理，跟踪一组候选序列，优化生成期望的结果。波束搜索算法有效地管理了搜索空间，提高了生成序列的准确性和多样性。经过波束搜索过程，输出结果进行逆PCA，形成的矩阵输入分子解码器（图1D）。这个解码过程的结果是一组候选分子。分子解码器通过变分自编码器实现，在训练过程中，该模块需要最小化证据下界（ELBO）完成训练循环。在验证过程中，使用FreChemNet距离作为模型的选择标准。该指标评估生成的分子是否表现出多样性，并具有与参考分子相似的化学和生物特性。

作者将GexMolGen与一些具有代表性的方法进行了比较，在L1000数据集上，采用有效性和与期望分子的Tanimoto相似度（表中称为Metrics）作为指标，以上指标均越高越好。作者提出的GexMolGen在所有指标上取得了最佳结果。

表1 与其他方法对比

作者设计了消融实验来验证模型设计的有效性。GexMolGen还提供了一个新的定义跨模态相似性（即基于对比学习的相似性定义）来测量基因表达特征和分子结构之间的相关性的方法。在消融实验中，作者将模型中的相似性换成传统的相似性计算方法CMap进行对比。图2显示了从相同分子数据集筛选的一些示例，表明使用GexMolGen的跨模态相似性筛选的分子比传统方法发现的分子与参考分子更相似。

图2 消融实验

作者还进行了案例分析。将在L1000数据集上划分训练集和验证集的模型用于在ExCape数据集上选择的10个基因所构成的新数据集上。图3A显示了不同方法下，采用不同指纹的Tanimoto相似度的分布。结果表明，GexMolGen模型生成的分子与参考分子具有更高的相似性。此外，在所有三个度量中，欧几里得距离搜索方法始终不如余弦相似度方法。这种差异可以归因于随着维度的增加，欧几里得距离对基因表达特征的差异变得不那么敏感。在10个基因上的具体实验结果如图3B所示。GexMolGen模型在大多数情况下显著优于其他三种基线方法，具有更高的相似性。注意到，预训练的hierVAE由于进行了无条件的分子采样而产生的分布范围最广，同时也导致了性能的降低。它偶尔会产生具有高相似性分数的分子，但会产生许多与已知分子相关性非常低的分子，如图3B的AKT2所示。相比之下，通过利用遗传信息，GexMolGen模型缩小了生成空间，在结构相似性和分子多样性之间取得平衡。

图3 案例分析

本文提出了一种基于基因表达特征来生成具有期望药物活性分子的方法GexMolGen，采用“先对齐后生成”的策略进行跨模态生成。模型利用先进的单细胞大语言模型scGPT作为遗传编码器，并预训练基于图的分子模型hierVAE（层次变分自编码器）。作者通过对比学习实现了一种新型的基因-分子匹配方法，进行跨模态比对，促进将基因表达信息转换为分子信息，输入分子解码器以产生期望的分子。与传统的搜索方法相比，GexMolGen具有竞争力和优越的性能，超越了其他深度学习方法。它也可以用作筛选工具，因为它为测量基因和分子模式之间的相似性提供了明确的度量。

尽管有这些优势，该模型仍面临一定的局限性，特别是在基因和分子的表示方面。虽然目前的单细胞基础模型以序列形式表示基因，但基因相互作用以网络形式更准确地描述。利用图神经网络来聚合基于预定义生物网络的网络邻居的信息可能更好地模拟生物活动。此外，最佳分子表征仍然是一个未解决的问题。基于SMILES的模型可以快速生成大量分子，但由于其一维格式，可能会丢失关键信息。新兴的3D分子生成模型提供了更详细的表示，但计算量很大。将更高维度的信息，如化学键的角度，整合到现有的二维分子生成器中，可能会在分子表达性和生成效率之间取得平衡。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述