Philo的博客

近年来，深度学习已被广​​泛用于乳腺癌的诊断中，并且出现了许多高性能模型。但是，大多数现有的深度学习模型主要基于静态乳房超声（US）图像。在实际诊断过程中，对比增强超声（CEU）是放射科医生常用的技术。与静态乳房图像相比，CEUS视频可以提供更详细的肿瘤血液供应信息，因此可以帮助放射学家进行更准确的诊断。在本文中，我们提出了一个基于CEUS视频的新型诊断模型。该模型的骨干是一个3D卷积神经网络。更具体地说，我们注意到放射线医生在浏览CEUS视频时通常遵循两种特定模式。

起初，`我的Python版本为3.7，PyTorch版本为1.12`。然而，由于SAM2中的一个Attention模块需要更高版本的PyTorch，我按照SAM2-Adapter的要求创建了一个新的环境，`升级到了Python 3.8和PyTorch 2.4`。在此过程中遇到了一些问题，记录如下。

分割任意模型（SAM）是一种著名的通用图像分割模型，最近在医学图像分割领域引起了相当多的关注。尽管 SAM 在自然图像上表现出色，但在处理医学图像时**，尤其是涉及低对比度、模糊边界、复杂形状和小尺寸物体的图像时，它会遇到显着的性能下降和有限的泛化能力。** 在本文中，我们提出了 SAMUS，一种专为超声图像分割而定制的通用模型。与之前基于SAM的通用模型相比，SAMUS不仅追求更好的泛化性，而且还追求更低的部署成本，使其更适合临床应用。

Segment Anything Model (SAM) 代表了自然图像分割领域最先进的研究进展，通过点和边界框等输入提示取得了令人印象深刻的结果。然而，我们的评估和最近的研究表明，直接将预训练的 SAM 应用于医学图像分割并不能产生令人满意的性能。这种限制主要源于自然图像和医学图像之间的显着域差距。为了弥补这一差距，我们引入了 SAM-Med2D，这是将 SAM 应用于医学 2D 图像的最全面的研究。收集最大规模的医学数据的综合分析、对各种微调方案最全面的研究、对性能最全面的评估。具体来说。

Segment Anything Model (SAM) 最近在图像分割领域广受欢迎，因为它在各种分割任务中具有令人印象深刻的功能及其基于提示的界面。然而，最近的研究和个别实验表明，由于缺乏医学专业知识，SAM 在医学图像分割方面表现不佳。这就提出了如何增强 SAM 对医学图像的分割能力的问题。在本文中，我们没有对 SAM 模型进行微调，而是提出了医学 SAM 适配器 (Med-SA)，它使用轻量而有效的适应技术将特定领域的医学知识融入到分割模型中。

计算机视觉基础模型的最新发展，特别是分割任意模型（SAM），允许可扩展且与领域无关的图像分割作为通用分割工具。与此同时，医学图像分割领域也从 nnUNet 等专门的神经网络中受益匪浅，该网络在特定领域的数据集上进行训练，并且可以自动配置网络以适应特定的分割挑战。为了结合基础模型和特定领域模型的优点，我们提出了 nnSAM，它将 SAM 模型与 nnUNet 模型协同集成，以实现更准确和鲁棒的医学图像分割。

最近，引入了基础模型来演示计算机视觉领域的各种任务。这些模型（例如分割任意模型（SAM））是使用庞大数据集训练的通用模型。目前，正在进行的研究重点是探索这些通用模型在特定领域（例如医学成像）的有效利用。然而，在医学成像中，由于隐私问题和其他因素，训练样本的缺乏给这些广义模型应用于医学图像分割任务带来了重大挑战。为了解决这个问题，对这些模型进行有效的微调对于确保其最佳利用率至关重要。在本研究中，我们建议将互补的卷积神经网络 (CNN) 与标准 SAM 网络结合起来进行医学图像分割。

在数字病理学中，精确的细胞核分割至关重要，但受到组织类型、染色方案和成像条件多样性的挑战。最近，分割任何模型（SAM）在自然场景中展现出压倒性的性能，并且对医学成像的适应性令人印象深刻。尽管有这些优点，但对劳动密集型手动注释作为分割提示的依赖严重阻碍了其临床适用性，特别是对于包含大量细胞的核图像分析，其中密集的手动提示是不切实际的。为了克服当前 SAM 方法的局限性，同时保留其优势，我们提出了用于细胞核分割的通用无提示 SAM 框架 (UN-SAM)，通过提供具有卓越泛化能力的全自动解决方案。

分割任意模型（SAM）最近引人注目，激发了许多研究人员探索其在零样本泛化能力方面的潜力和局限性。作为第一个用于分割任务的快速基础模型，它是在具有空前数量的图像和注释的大型数据集上进行训练的。这种大规模数据集及其及时性赋予模型强大的零样本泛化能力。尽管 SAM 在多个数据集上表现出了有竞争力的性能，但我们仍然想研究其在医学图像上的零样本泛化。众所周知，医学图像标注的获取通常需要专业从业者的大量努力。

分割任意模型 (SAM) 是最近在通用零样本分割方法中提出的基于提示的分割模型。凭借零样本分割能力，SAM 在各种分割任务上实现了令人印象深刻的灵活性和精度。然而，当前的流程在推理阶段需要手动提示，这对于生物医学图像分割来说仍然是资源密集型的。在本文中，我们没有在推理阶段使用提示，而是引入了一种利用 SAM 的方法（称为 all-in-SAM），贯穿整个 AI 开发工作流程（从注释生成到模型微调），而无需在推理过程中进行手动提示阶段。具体来说，SAM 首先用于根据弱提示（例如点、边界框）生成像素级注释。

Segment Anything Model (SAM) 是图像分割的基础框架。虽然它在典型场景中表现出显着的零样本泛化能力，但当应用于医学图像和遥感等专业领域时，其优势就会减弱。为了解决这一限制，本文引入了 Conv-LoRA，这是一种简单而有效的参数高效微调方法。通过将超轻量级卷积参数集成到低秩适应 (LoRA) 中，Conv-LoRA 可以将与图像相关的归纳偏差注入到普通 ViT 编码器中，进一步强化 SAM 的局部先验假设。

准确的医学图像分割需要集成多尺度信息从局部特征到全局依赖性。然而，现有方法对远程全局信息进行建模具有挑战性，其中卷积神经网络（CNN）受到其局部感受野的限制，而视觉变换器（ViT）则受到其注意力机制的高二次复杂度的影响。最近，基于 Mamba 的模型因其在长序列建模方面令人印象深刻的能力而受到极大关注。多项研究表明，这些模型在各种任务中都可以优于流行的视觉模型，提供更高的准确性、更低的内存消耗和更少的计算负担。

付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用

乳腺病灶分割是计算机辅助诊断系统的重要一步。然而，散斑噪声、异质结构和相似的强度分布给乳腺病灶分割带来了挑战。在本文中，我们提出了一种集成 U-net、双向注意引导网络（BAGNet）和细化残差网络（RFNet）的新型级联卷积神经网络，用于乳腺超声图像中的病变分割。具体来说，我们首先使用 U-net 生成一组包含低级和高级图像结构的显着图。然后，使用双向注意力引导网络从显着性图中捕获全局（低级）和局部（高级）特征之间的上下文。全局特征图的引入可以减少周围组织对病变区域的干扰。

超声波自动乳腺病灶分割有助于诊断乳腺癌，这是影响全球女性的可怕疾病之一。由于固有的散斑伪影、模糊的乳腺病变边界以及乳腺病变区域内的不均匀强度分布，从超声图像中准确分割乳腺区域是一项具有挑战性的任务。最近，卷积神经网络（CNN）在医学图像分割任务中表现出了显着的效果。然而，CNN 中的卷积运算通常集中于局部区域，其捕获输入超声图像的远程依赖性的能力有限，导致乳腺病变分割精度下降。在本文中，我们开发了一种配备全局引导块（GGB）和乳腺病灶边界检测（BD）模块的深度卷积神经网络，用于增强乳腺超声病灶分割。