分割大模型论文阅读——UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images

期刊分析

期刊名： arXiv
信息： 已投TMI

其余信息： 代码

摘要

在数字病理学中，精确的细胞核分割至关重要，但受到组织类型、染色方案和成像条件多样性的挑战。最近，分割任何模型（SAM）在自然场景中展现出压倒性的性能，并且对医学成像的适应性令人印象深刻。尽管有这些优点，但对劳动密集型手动注释作为分割提示的依赖严重阻碍了其临床适用性，特别是对于包含大量细胞的核图像分析，其中密集的手动提示是不切实际的。为了克服当前 SAM 方法的局限性，同时保留其优势，我们提出了用于细胞核分割的通用无提示 SAM 框架 (UN-SAM)，通过提供具有卓越泛化能力的全自动解决方案。具体来说，为了消除每核注释对提示的劳动密集型要求，我们设计了一种多尺度自提示生成（SPGen）模块，通过自动生成高质量的掩模提示来指导分割任务，从而彻底改变临床工作流程。此外，为了释放 SAM 在各种核图像上的泛化能力，我们设计了一种域自适应调整编码器（DT-Encoder），将视觉特征与域通用和特定领域的知识无缝协调，并进一步设计了域查询增强型