scGPT:单细胞的末日与开端

使用生成式 AI 构建单细胞多组学基础模型

来自论文：scGPT: Towards Building a Foundation Model for Single-Cell Multi-omics Using Generative AI；doi: https://doi.org/10.1101/2023.04.30.538439

如今通用人工智能模型纵横天下，你无法阻止机器发展的浪潮，人类文明终毁于人类。当你躺平两天的时候，你睁眼发现已经进入另一个时代：不信，你看以下事实：
就这两天：
（1）ChatGPT使EdTech崩溃；
（2）微软Bing免费开发使用ChatGPT;
（3）麻省理工发布人工智能以降低药物成本；
（4）以及今天单细胞通用人工智能模型
如今单细胞分析工具1000多种，从2009年至今，你努力10年也许搞出几个工具，但你那效果也不咋样，模型泛化能力也只能水论文；如今scGPT通吃，其他模型简直小巫见大巫。辛苦10年，终功亏一篑。
原先发文章找模型按照年来，如今争分夺秒，你想到的别人已经实现并开源。

摘要：生成式预训练模型在自然语言处理和计算机视觉等各个领域取得了显着的成功。具体来说，大规模多样化数据集和预训练Transformer的结合已成为开发基础模型的一种有前途的方法。虽然文本是由单词组成的，但细胞可以用基因来表征。这个类比启发我们探索细胞和基因生物学基础模型的潜力。通过利用呈指数增长的单细胞测序数据，我们首次尝试通过对超过 1000 万个细胞进行生成预训练来构建单细胞基础模型。我们证明了生成式预训练Transformer,scGPT ,可以有效地捕获对基因和细胞有意义的生物学见解。此外，该模型可以很容易地进行微调，以在各种下游任务中实现最先进的性能，包括多批次融合（multi-batch integration）、多组学融合(multi-omic integration)、细胞类型注释(cell-type annotation)、基因扰动预测(genetic perturbation prediction)和基因网络推断(gene network inference)。

贡献：首次尝试通过对超过 1000 万个细胞进行生成预训练来构建单细胞基础模型 scGPT；证明预训练模型在基因和细胞水平上捕获了有意义的生物学见解。学习基因嵌入，通过将功能相关的基因组合在一起来解码已知通路。通过零样本学习，预训练模型能够在看不见的数据集上揭示有意义的细胞簇。通过在少量学习设置中进行微调，该模型在广泛的下游任务上实现了最先进的性能，包括批次矫正（batch correction）、多组学融合(multi-omic integration)、细胞类型注释(cell type annotation)、基因扰动预测（genetic perturbation prediction）、伪细胞生成(pseudo-cell generation)和基因网络推断（gene network inference）。scGPT 模型和工作流程的发布旨在促进所有相关领域的未来研究。我们设想采用预训练的基础模型将加深我们对细胞生物学的理解，