Philo`
一个人至少拥有一个梦想,有一个理由去坚强。心若没有栖息的地方,到哪里都是在流浪。
展开
-
分割大模型论文阅读——SAMUS
分割任意模型(SAM)是一种著名的通用图像分割模型,最近在医学图像分割领域引起了相当多的关注。尽管 SAM 在自然图像上表现出色,但在处理医学图像时**,尤其是涉及低对比度、模糊边界、复杂形状和小尺寸物体的图像时,它会遇到显着的性能下降和有限的泛化能力。** 在本文中,我们提出了 SAMUS,一种专为超声图像分割而定制的通用模型。与之前基于SAM的通用模型相比,SAMUS不仅追求更好的泛化性,而且还追求更低的部署成本,使其更适合临床应用。原创 2024-05-20 14:26:06 · 231 阅读 · 1 评论 -
分割大模型论文阅读——SAM-Med2D
Segment Anything Model (SAM) 代表了自然图像分割领域最先进的研究进展,通过点和边界框等输入提示取得了令人印象深刻的结果。然而,我们的评估和最近的研究表明,直接将预训练的 SAM 应用于医学图像分割并不能产生令人满意的性能。这种限制主要源于自然图像和医学图像之间的显着域差距。为了弥补这一差距,我们引入了 SAM-Med2D,这是将 SAM 应用于医学 2D 图像的最全面的研究。收集最大规模的医学数据的综合分析、对各种微调方案最全面的研究、对性能最全面的评估。具体来说。原创 2024-05-20 10:25:56 · 399 阅读 · 0 评论 -
分割大模型论文阅读——Medical SAM Adapter Adapting Segment Anything Model for Medical Image Segmentation
Segment Anything Model (SAM) 最近在图像分割领域广受欢迎,因为它在各种分割任务中具有令人印象深刻的功能及其基于提示的界面。然而,最近的研究和个别实验表明,由于缺乏医学专业知识,SAM 在医学图像分割方面表现不佳。这就提出了如何增强 SAM 对医学图像的分割能力的问题。在本文中,我们没有对 SAM 模型进行微调,而是提出了医学 SAM 适配器 (Med-SA),它使用轻量而有效的适应技术将特定领域的医学知识融入到分割模型中。原创 2024-05-20 10:23:34 · 72 阅读 · 0 评论 -
分割大模型论文阅读——nnSAM: Plug-and-play Segment Anything Model Improves nnUNet Performance
计算机视觉基础模型的最新发展,特别是分割任意模型(SAM),允许可扩展且与领域无关的图像分割作为通用分割工具。与此同时,医学图像分割领域也从 nnUNet 等专门的神经网络中受益匪浅,该网络在特定领域的数据集上进行训练,并且可以自动配置网络以适应特定的分割挑战。为了结合基础模型和特定领域模型的优点,我们提出了 nnSAM,它将 SAM 模型与 nnUNet 模型协同集成,以实现更准确和鲁棒的医学图像分割。原创 2024-05-20 10:20:31 · 73 阅读 · 0 评论 -
分割大模型论文阅读——Ladder Fine-tuning approach for SAM integrating complementary network
最近,引入了基础模型来演示计算机视觉领域的各种任务。这些模型(例如分割任意模型(SAM))是使用庞大数据集训练的通用模型。目前,正在进行的研究重点是探索这些通用模型在特定领域(例如医学成像)的有效利用。然而,在医学成像中,由于隐私问题和其他因素,训练样本的缺乏给这些广义模型应用于医学图像分割任务带来了重大挑战。为了解决这个问题,对这些模型进行有效的微调对于确保其最佳利用率至关重要。在本研究中,我们建议将互补的卷积神经网络 (CNN) 与标准 SAM 网络结合起来进行医学图像分割。原创 2024-05-20 10:14:38 · 24 阅读 · 1 评论 -
分割大模型论文阅读——UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images
在数字病理学中,精确的细胞核分割至关重要,但受到组织类型、染色方案和成像条件多样性的挑战。最近,分割任何模型(SAM)在自然场景中展现出压倒性的性能,并且对医学成像的适应性令人印象深刻。尽管有这些优点,但对劳动密集型手动注释作为分割提示的依赖严重阻碍了其临床适用性,特别是对于包含大量细胞的核图像分析,其中密集的手动提示是不切实际的。为了克服当前 SAM 方法的局限性,同时保留其优势,我们提出了用于细胞核分割的通用无提示 SAM 框架 (UN-SAM),通过提供具有卓越泛化能力的全自动解决方案。原创 2024-05-20 10:13:03 · 38 阅读 · 0 评论 -
分割大模型论文阅读——SAM on Medical Images: A Comprehensive Study on Three Prompt Modes
分割任意模型(SAM)最近引人注目,激发了许多研究人员探索其在零样本泛化能力方面的潜力和局限性。作为第一个用于分割任务的快速基础模型,它是在具有空前数量的图像和注释的大型数据集上进行训练的。这种大规模数据集及其及时性赋予模型强大的零样本泛化能力。尽管 SAM 在多个数据集上表现出了有竞争力的性能,但我们仍然想研究其在医学图像上的零样本泛化。众所周知,医学图像标注的获取通常需要专业从业者的大量努力。原创 2024-05-20 10:11:10 · 12 阅读 · 0 评论 -
分割大模型论文阅读——All-in-SAM: from Weak Annotation to Pixel-wise Nuclei Segmentation
分割任意模型 (SAM) 是最近在通用零样本分割方法中提出的基于提示的分割模型。凭借零样本分割能力,SAM 在各种分割任务上实现了令人印象深刻的灵活性和精度。然而,当前的流程在推理阶段需要手动提示,这对于生物医学图像分割来说仍然是资源密集型的。在本文中,我们没有在推理阶段使用提示,而是引入了一种利用 SAM 的方法(称为 all-in-SAM),贯穿整个 AI 开发工作流程(从注释生成到模型微调),而无需在推理过程中进行手动提示阶段。具体来说,SAM 首先用于根据弱提示(例如点、边界框)生成像素级注释。原创 2024-05-20 10:09:21 · 20 阅读 · 0 评论 -
分割大模型论文阅读——Convolution Meets LORA: Parameter Efficient Finetuning for Segment Anything Model
Segment Anything Model (SAM) 是图像分割的基础框架。虽然它在典型场景中表现出显着的零样本泛化能力,但当应用于医学图像和遥感等专业领域时,其优势就会减弱。为了解决这一限制,本文引入了 Conv-LoRA,这是一种简单而有效的参数高效微调方法。通过将超轻量级卷积参数集成到低秩适应 (LoRA) 中,Conv-LoRA 可以将与图像相关的归纳偏差注入到普通 ViT 编码器中,进一步强化 SAM 的局部先验假设。原创 2024-05-20 10:08:17 · 44 阅读 · 1 评论