How to build the best medical image segmentation algorithm using foundation models 综述阅读

文章地址：https://arxiv.org/abs/2404.09957
code：https://github.com/mazurowski-lab/finetune-SAM

📜 研究背景 现状 目标

---

Tips: 问题提出的背景，国内外现状如何，目标是什么？

⚙️ 背景

在自动化医学图像分割领域，尤其是针对基于深度学习的模型。近年来，深度学习尤其是变换器模型（如SAM）在自然语言处理和一些视觉任务中取得了显著进展。然而，直接将这些先进的基础模型应用于医学图像分割时，其性能往往不尽如人意，因为它们大多是在自然图像数据集上预训练的，而医学图像具有截然不同的特性。

💡 现状

尽管有大量的研究集中在提升医学图像分割的准确性和效率上，但是目前还缺乏系统性的分析或“最佳实践”指导，来优化这些基础模型在医学图像分割任务上的微调。

🚀 目标

探索和定义开发自动化医学图像分割算法的最优策略，特别关注在医学图像上微调基础模型（例如SAM）。研究通过对各种不同的微调策略、模型组件、微调算法进行综合评估，试图在涵盖所有常见放射学模态的17个数据集上，对这些方法进行比较和分析。

🔁 研究内容

---

🧩 数据

从公开的在线来源中选择了22个数据集，包括TCIA（癌症成像档案馆）、Kaggle、Zendo、Grand Challenge和Mendeley Data

🚊 研究基础

自动化医学图像分割任务的需求，特别是在应用深度学习模型进行图像分析时的先进发展。

👩🏻‍💻 研究方法 方案

🔬 实验

1、微调策略的评估：研究评估了多种微调SAM（Segment Anything Model）的策略。这包括对编码器、解码器或两者进行微调，并且考虑了是否使用基础（Vanilla）方法、低秩适应（LoRA）或适配器（Adapter）。

不同数据集可用性情况：考虑了在医学影像领域常见的三种数据集可用性场景：仅一个标注数据集、多个标注数据集用于不同任务、多个标注和未标注数据集。
基础模型微调：将SAM模型进行微调，以便在医学图像分割任务上表现更好。实验检查了微调SAM相对于先前的分割方法是否提供了性能上的改进。
参数效率学习：研究表明，对编码器和解码器进行参数效率学习的微调策略优于其他策略。
网络架构的影响：实验还检验了网络架构对最终性能的影响，发现其影响相对较小。
自监督学习的额外训练：通过在自监督学习中进一步训练SAM，可以提高模型性能。
方法的无效性展示：论文中还演示了文献中流行的某些方法在实验中的无效性，并将实验扩展到少量样本学习和基于提示的设置。

📚 实验结果

1、通过比较红色和蓝色条形，发现只更新解码器参数变为同时更新编码器和解码器时，平均性能几乎肯定（在ViT-B + Vanilla设置中除外）得到了改善。
2、使用参数效率微调技术（如Adapter或LoRA）在较小的框架内微调SAM似乎提供了更多的好处。
3、SAM在目标对象复杂的任务上表现出色，nnUNet在目标较简单的任务上展示了更高的精度。

📜 结论

针对特定任务的微调SAM可以稍微提升性能；同时优化编码器和解码器比只优化其他策略要好；网络架构对最终性能的影响较小；进一步使用自监督学习训练SAM可以提升最终模型性能。

1、选择性地仅微调注意力层
2、在模型中加入额外的模块似乎比单纯更新选定层的参数更有益。这是因为额外的模块可以重新配置模型，以更好地适应特定的下游任务。

“Adapters
“Low-Rank Adaptation (LoRA)”添加到需要更少参数的自注意层中

🤔 个人总结

---

Tips: 个人收获与记录？

💭 思考启发

1、考虑微调参数，优先考虑加入额外的模块（如Adapter和LoRA）来优化模型。
2、精细化调整：针对特定的医学图像分割任务，进行精细化的调整，比如调整网络结构中的某些层或模块，以更好地适应任务需求。
3、数据增强：考虑使用如随机旋转、翻转、缩放、裁剪等方法来增加训练数据的多样性。