识别细胞也能用大模型了！清华系团队出品，已入选ICML 2024 | 开源

大模型带来的生命科学领域突破，刚刚再传新进展。

来自清华系，使用大模型实现了单细胞身份识别，同时模型LangCell也正式对外开源。

它不仅可以准确识别细胞身份，还具有很强的零样本分析能力，论文已被ICML 2024录⽤。

LangCell的数据集中包含约2750万条数据，覆盖了细胞类型、发育阶段、组织器官、疾病等8个维度的信息，称得上是“细胞的百科全书”。

实际测试中，LangCell也在多个细胞识别理解任务上超越了前SOTA，在研究人员专门设计的新任务上也表现突出。

而且，即使在不使用文本信息的情况下，单独用其包含的细胞编码器模块，也能在各个任务上实现最优表现。

出品团队：清华系创业公司⽔⽊分⼦与清华⼤学AIR聂再清教授团队。

大模型，细胞识别的“新武器”

细胞，是探索⽣命奥秘的起点，细胞⾝份的识别，是⽣物科学领域的⼀⼤热点。

这不仅关乎细胞的“户⼝调查”，还关系到它们在组织中的“社交关系”，以及它们对“⽣物信号”和“环境变化”的敏感反应，⽽了解这些信息的重要途径，就是分析单细胞测序数据。

但单细胞测序数据分析，就像是⼀场科学界的“寻宝游戏”，可能需要⼀个⼏⼈到⼏⼗⼈不等的跨学科的团队，用⼏周到⼏个⽉，甚⾄更⻓时间来完成。

现在，LangCell模型成为了细胞⾝份识别的“新武器”。

LangCell是⾸个结合单细胞RNA测序数据与⾃然语⾔处理进⾏预训练的单细胞表征模型，不仅提⾼了识别的准确性，还减少了对⼤量标记数据的依赖。

传统的单细胞RNA测序数据分析，就像是在没有地图的情况下寻找宝藏，虽然能找到⼀些线索，但总有些⼒不从⼼。

⽽LangCell模型，通过构建单细胞数据和⾃然语⾔的统⼀表⽰，就像是给了模型⼀张“藏宝图”，让它能够更直接地找到与细胞⾝份相关的信息。

具体来说，LangCell主要由细胞编码器（Cell Encoder，CE）和文本编码器两部分组成。

其中细胞编码器使用预训练的Geneformer初始化。将排序后的基因表达序列输入转化为嵌入向量序列，在序列开始处添加[CLS]标记，其嵌入向量经过线性变换作为整个细胞的表征向量。

文本编码器又有单模态和多模态两种编码模式。

单模态时相当于一个BERT模型,用于将文本转换为嵌入向量；

多模态时在self-attention后添加cross-attention模块，融合细胞嵌入向量计算联合表征，并通过线性层预测细胞-文本匹配概率。

为训练LangCell，研究⼈员还构建了⼀个名为scLibrary的数据集，它包含了2750万条scRNA-seq数据及从OBO Foundry中获取的细胞⾝份的多视⻆⽂本描述，就像是细胞研究的“百科全书”。

这个数据集不仅包含了⼤量的原始数据，还包含了多视⻆的细胞⾝份⽂本描述，为模型提供了丰富的学习材料。

此外在零样本场景中，只需未知类型细胞的scRNA-seq数据输入到CE中，得到细胞嵌入向量表征，然后与候选类型的文本嵌入向量进行相似度计算，分数最高的类型即被预测为该未知细胞的类型。

结果，LangCell模型在零样本细胞⾝份理解场景中表现出⾊，即使没有进⾏微调，也能直接对新的细胞类型进⾏注释。

在PBMC数据集上，零样本的LangCell分类准确率就已达到86.5%，F1评分更是超过了前SOTA模型的9-shot表现。

在更具挑战的跨数据集的细胞-文本检索任务中，LangCell的零样本召回率R@1、R@5和R@10结果都超过了用30%标注数据训练的BioTranslator模型。

此外，研究者还专门构建了“非小细胞肺癌亚型分类”和“细胞通路识别”两个具有重要生物学意义的新基准测试任务。

结果在非小细胞肺癌亚型分类任务中，LangCell的零样本分类准确率和F1分数分别达到93.5%和93.2%，比10-shot的Geneformer高出约20%。

而对于细胞批次整合任务，在PBMC10K和Perirhinal Cortex两个数据集上，LangCell的Avgbio、ASWbatch和Sfinal三个指标均达到了最优。

不仅LangCell的表现优异，即使在不使用文本信息的情况下，单独的CE模块也能在各个任务上实现最优表现。

在多个细胞类型注释任务的数据集上，CE模块的成绩都超过了前SOTA，在细胞通路识别上的表现也十分优异。

作者介绍，LangCell的这些能力，在新疾病或细胞亚型的研究中尤为重要，可以减少对⼤量标记数据的依赖，加速疾病机理的发现。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。