Cell Res. | 知识驱动的跨物种生命基础大模型_geneformer 基因调控网络-CSDN博客

本文链接：https://blog.csdn.net/m0_59164520/article/details/146263998

在这里插入图片描述

研究背景

脊椎动物的基因调控机制在理解组织与器官发育过程以及推动临床治疗中具有重要意义。随着单细胞测序等组学技术的快速发展，我们积累了大量单细胞数据，推动了基因表达研究。然而，由于基因调控涵盖了从染色质可及性到转录后修饰等多个层次，全面解析这一复杂机制仍然面临巨大挑战。近年来，深度学习模型在自然语言和视觉领域的成功应用，如BERT和GPT等基础模型，启发了基因组学领域的研究者利用类似的模型解析基因调控机制。基于大量单细胞转录组数据，模型如scGPT和Geneformer在细胞聚类、基因扰动等下游任务中取得了显著的成果。

然而，现有的单细胞基础模型主要依赖于单一物种的数据。因此，整合来自不同物种的数据集为揭示基因调控的复杂机制提供了重要机会。此外，在基因组学时代，已经积累了大量的先验知识，包括基因表达中涉及的关键调控元件的识别、基因之间的验证性相互作用（基因调控网络、基因共表达关系）以及具有相似功能域的基因家族的定义。这些信息对我们全面理解生物过程具有重要意义，将这些知识融入到预训练过程中，可以有效地引导模型自监督地学习普遍的基因调控机制。为此，作者提出了一种基于生物学先验知识的跨物种基础模型GeneCompass。

方法详解

在这里插入图片描述

在本研究中，作者将四种类型的先验生物学知识编码到相同的768维嵌入空间，并将其与基因ID、基因表达值以及物种标识符结合作为模型的输入。这些生物学知识包括基因调控网络、启动子信息、基因家族注释和基因共表达关系。

基因调控网络嵌入：作者使用来自ENCODE的配对基因表达和染色质可及性数据来构建基因调控网络，并通过gene2vec方法将具有调控关系的基因对嵌入为向量。

启动子嵌入：作者通过预训练模型DNABert对启动子序列进行了40轮的微调，最终获得了768维的启动子嵌入。

基因家族嵌入：作者分析了人类和小鼠的基因及其家族关系，构建了基因对列表，并使用gene2vec方法进行编码。

共表达嵌入：在共表达分析中，作者从每个基因表达矩阵中选择了3000个细胞，计算基因间的皮尔逊相关系数。皮尔逊相关系数大于0.8的基因对被选中，并通过gene2vec方法进行嵌入。

模型采用自监督学习策略，对15%的基因进行随机掩码，并同时预测基因ID和表达值，以增强对基因间复杂关系的上下文感知能力。此外，通过引入物种标识符和同源基因映射，GeneCompass实现了跨物种数据的深度整合。

结果

在这里插入图片描述

GeneCompass在多项任务中展现了卓越性能：跨物种分析显示，模型能有效捕捉同源基因的相似表达模式与功能保守性；细胞类型注释任务中，模型在单物种、跨物种细胞类型注释上都表现出优越性能。此外，GeneCompass还可进行多种下游任务，其在基因调控网络推断、药物剂量响应预测及基因扰动模拟中均表现突出。实验进一步验证了模型在细胞命运预测中的实用性：GeneCompass具有预测细胞命运和识别关键调控因子的能力，可用于提高湿实验的效率并揭示新的机制。

讨论

尽管目前的GeneCompass在处理来自人类和小鼠的数据时取得了显著进展，但仍有改进的空间。作者指出，虽然扩大数据集的规模可能带来更好的效果，但物种特异性的基因表达模式可能会影响这一优势。除了现有的先验知识，增强子和蛋白质序列等其他关键信息也需要进一步探索。此外，除了单细胞转录数据，表观基因组学、蛋白质组学和代谢组学数据将为基因调控研究提供更加丰富的视角。作者强调，未来的研究方向可以集中在如何有效地将多模态信息整合进模型，以更深入地理解基因调控机制。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述