Nature Methods | 跨九种模态的生物医学对象的联合分割、检测和识别的基础模型

生物医学图像分析对生物医学发现至关重要。整体图像分析包括分割、检测和识别等相互依赖的子任务，这些任务通常由传统方法分别处理。

2024年11月13日，****华盛顿大学联合微软研究院在**Nature Methods发表题为“****A foundation model for joint segmentation, detection and recognition of biomedical objects across nine modalities”的研究论文。****该研究提出了BiomedParse，这是一个可以跨九种成像模态联合进行分割、检测和识别的生物医学基础模型。**这种联合学习提高了各个任务的准确性，并使得新的应用成为可能，例如通过文本描述在图像中分割所有相关对象。为了训练BiomedParse，作者创建了一个大型数据集，包含超过600万张图像、分割掩码和文本描述的三元组，利用现有数据集中伴随的自然语言标签或描述。

    作者展示了BiomedParse在九种成像模态的图像分割上超越了现有方法，对于形状不规则的对象改进更大。作者进一步展示了BiomedParse可以同时对图像中的所有对象进行分割和标记。总之，BiomedParse是一个涵盖所有主要成像模态的生物医学图像分析的全能工具，为高效准确的基于图像的生物医学发现铺平了道路。

02

匠心独运

由于促炎巨噬细胞向抗炎巨噬细胞的复极化受损，传统的骨组织工程材料难以在糖尿病期间恢复生理性骨重塑。

---

**图1：BiomedParse和BiomedParseData的概览。**a. 由GPT-4构建的本体论展示了用于统一跨数据集语义概念的对象类型的层次结构。条形图显示包含该类型对象的图像数量。b. 条形图显示BiomedParseData中每种模态的图像-掩码-描述三元组数量。CT代表计算机断层扫描；MRI代表磁共振成像；OCT代表光学相干断层扫描。c. BiomedParse的工作流程图。BiomedParse接收图像和文本提示作为输入，然后输出提示中指定对象的分割掩码。在作者的框架中不需要图像特定的手动交互，如边界框或点击。为了促进图像编码器的语义学习，BiomedParse还包含了一个学习目标，用于对元对象类型进行分类。在线推理时，GPT-4用于将文本提示解析为对象类型，使用对象本体论，这也使用BiomedParse输出的元对象类型来缩小候选语义标签的范围。d. 统一流形近似和投影（UMAP）图，对比了BiomedParse文本编码器（左）和PubMedBERT（右）派生的不同细胞类型的文本嵌入。e. UMAP图，对比了BiomedParse图像编码器（左）和Focal（右）派生的不同细胞类型的图像嵌入。

03

卓越性能

**图2：在大规模生物医学图像分割数据集上的比较。**a. 箱线图比较了作者的方法与竞争方法在九种模态的102,855个测试实例（图像-掩码-标签三元组）上的Dice得分。MedSAM和SAM需要边界框作为输入。作者考虑了两种设置：神谕边界框（覆盖金标准掩码的最小边界框）；由基于文本的Grounding DINO（一种最先进的基于文本的定位模型）从文本提示生成的边界框。每个模态类别包含多个对象类型。每个对象类型被聚合为实例中位数以在图中显示。图中的n表示相应模态中的测试实例数量。BiomedParse优于最佳竞争方法的显著性水平，采用双尾配对t检验，分别为**P < 1 × 10^-2; *P < 1 × 10^-3; 和 ****P < 1 × 10^-4。BiomedParse与MedSAM在神谕框提示下的比较的确切P值分别为：所有模态P < 1.86 × 10^-12；CT模态P < 2.49 × 10^-3；MRI模态P < 3.33 × 10^-4；病理学模态P < 3.30 × 10^-16。b. 九个例子比较了BiomedParse和真实标注的分割结果，仅使用顶部的文本提示。c. 箱线图比较了作者的方法与竞争方法在n=42张图像的细胞分割测试集上的Dice得分。BiomedParse仅需要一个用户操作（文本提示“结肠病理中的腺体结构”）。相比之下，为了获得竞争结果，MedSAM和SAM需要430次操作（每个单独细胞一个边界框）。BiomedParse优于MedSAM的显著性水平，采用单尾配对t检验，分别为P < 1 × 10^-2; ***P < 1 × 10^-3; 和 ****P < 1 × 10^-4。确切的P值分别为：每个数据集P < 1.74 × 10^-13；每张图像P < 1.71 × 10^-7。d. 五个例子对比了BiomedParse和MedSAM的分割结果，以及BiomedParse使用的文本提示和MedSAM使用的边界框。e. BiomedParse与MedSAM在良性肿瘤图像（顶部）和恶性肿瘤图像（底部）上的比较。BiomedParse在形状不规则的异常细胞上的改进更为明显。f. 箱线图比较了有效文本提示和无效文本提示之间的双尾K-S检验P值。BiomedParse学会了拒绝描述图像中不存在的对象类型的无效文本提示（小P值）。总共评估了4,887个无效提示和22,355个有效提示。g. 显示了作者的方法在不同K-S检验P值截断下检测无效文本提示的精确度和召回率的图表。h,i. 散点图比较了BiomedParse和Grounding DINO在检测无效描述上的接收者操作特征曲线下面积（AUROC）（h）和F1（i）。在所有箱线图中，每个箱子显示了分布的四分位数，中心为中位数，最小值为第一四分位数，最大值为第三四分位数。触须延伸到最远的数据点，该数据点位于最近四分位数的2 × 四分位距（IQR）内。位于触须外的数据点显示为异常值。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓