Philo的博客

近年来，深度学习已被广​​泛用于乳腺癌的诊断中，并且出现了许多高性能模型。但是，大多数现有的深度学习模型主要基于静态乳房超声（US）图像。在实际诊断过程中，对比增强超声（CEU）是放射科医生常用的技术。与静态乳房图像相比，CEUS视频可以提供更详细的肿瘤血液供应信息，因此可以帮助放射学家进行更准确的诊断。在本文中，我们提出了一个基于CEUS视频的新型诊断模型。该模型的骨干是一个3D卷积神经网络。更具体地说，我们注意到放射线医生在浏览CEUS视频时通常遵循两种特定模式。

首先感谢各位在百忙之中抽空阅读我的申博自荐信！我是徐州医科大学生物医学工程25届硕士研究生ZQ，申请攻读贵组2025级博士研究生。我的主要研究为基于深度学习的医学图像处理，包括纵膈淋巴结、乳腺病灶超声图像分割、超声图像-SAM大模型应用等。以第一作者发表中科院三区SCI文章一篇、北大核心一篇、EI一篇。具体成果包括：以第一作者在《中国图象图形学报》（北核）和《Frontiers in Neuroscience》（Q2，IF:3.2）分别发表论文1篇，参与发明专利授权3项（2项三作1项二作）。另有两篇SCI

我也是装了两天左右才把windows的mamba-ssm装好，摸索了很多，下面是一些在安装过程中的问题和提示，下载链接：https://download.pytorch.org/whl/cu118。，把setuptools卸载干净就行，包括python自带的。这个报错总结起来就是。

起初，`我的Python版本为3.7，PyTorch版本为1.12`。然而，由于SAM2中的一个Attention模块需要更高版本的PyTorch，我按照SAM2-Adapter的要求创建了一个新的环境，`升级到了Python 3.8和PyTorch 2.4`。在此过程中遇到了一些问题，记录如下。

1. 根据表格信息重命名图片名称2. 判断两个文件夹中名称是否相同3. 按照要求重命名图片名称4. 根据图片名称重命名图片5. 将图片转换成二值图并改变后缀名6. 统计二值图中目标的个数并输出符号条件的图片名称7. 将JSON数据写到表格中8. 重命名data下的各个数据集中的图片名

分割任意模型（SAM）是一种著名的通用图像分割模型，最近在医学图像分割领域引起了相当多的关注。尽管 SAM 在自然图像上表现出色，但在处理医学图像时**，尤其是涉及低对比度、模糊边界、复杂形状和小尺寸物体的图像时，它会遇到显着的性能下降和有限的泛化能力。** 在本文中，我们提出了 SAMUS，一种专为超声图像分割而定制的通用模型。与之前基于SAM的通用模型相比，SAMUS不仅追求更好的泛化性，而且还追求更低的部署成本，使其更适合临床应用。

Segment Anything Model (SAM) 代表了自然图像分割领域最先进的研究进展，通过点和边界框等输入提示取得了令人印象深刻的结果。然而，我们的评估和最近的研究表明，直接将预训练的 SAM 应用于医学图像分割并不能产生令人满意的性能。这种限制主要源于自然图像和医学图像之间的显着域差距。为了弥补这一差距，我们引入了 SAM-Med2D，这是将 SAM 应用于医学 2D 图像的最全面的研究。收集最大规模的医学数据的综合分析、对各种微调方案最全面的研究、对性能最全面的评估。具体来说。

Segment Anything Model (SAM) 最近在图像分割领域广受欢迎，因为它在各种分割任务中具有令人印象深刻的功能及其基于提示的界面。然而，最近的研究和个别实验表明，由于缺乏医学专业知识，SAM 在医学图像分割方面表现不佳。这就提出了如何增强 SAM 对医学图像的分割能力的问题。在本文中，我们没有对 SAM 模型进行微调，而是提出了医学 SAM 适配器 (Med-SA)，它使用轻量而有效的适应技术将特定领域的医学知识融入到分割模型中。

计算机视觉基础模型的最新发展，特别是分割任意模型（SAM），允许可扩展且与领域无关的图像分割作为通用分割工具。与此同时，医学图像分割领域也从 nnUNet 等专门的神经网络中受益匪浅，该网络在特定领域的数据集上进行训练，并且可以自动配置网络以适应特定的分割挑战。为了结合基础模型和特定领域模型的优点，我们提出了 nnSAM，它将 SAM 模型与 nnUNet 模型协同集成，以实现更准确和鲁棒的医学图像分割。

最近，引入了基础模型来演示计算机视觉领域的各种任务。这些模型（例如分割任意模型（SAM））是使用庞大数据集训练的通用模型。目前，正在进行的研究重点是探索这些通用模型在特定领域（例如医学成像）的有效利用。然而，在医学成像中，由于隐私问题和其他因素，训练样本的缺乏给这些广义模型应用于医学图像分割任务带来了重大挑战。为了解决这个问题，对这些模型进行有效的微调对于确保其最佳利用率至关重要。在本研究中，我们建议将互补的卷积神经网络 (CNN) 与标准 SAM 网络结合起来进行医学图像分割。

在数字病理学中，精确的细胞核分割至关重要，但受到组织类型、染色方案和成像条件多样性的挑战。最近，分割任何模型（SAM）在自然场景中展现出压倒性的性能，并且对医学成像的适应性令人印象深刻。尽管有这些优点，但对劳动密集型手动注释作为分割提示的依赖严重阻碍了其临床适用性，特别是对于包含大量细胞的核图像分析，其中密集的手动提示是不切实际的。为了克服当前 SAM 方法的局限性，同时保留其优势，我们提出了用于细胞核分割的通用无提示 SAM 框架 (UN-SAM)，通过提供具有卓越泛化能力的全自动解决方案。

分割任意模型（SAM）最近引人注目，激发了许多研究人员探索其在零样本泛化能力方面的潜力和局限性。作为第一个用于分割任务的快速基础模型，它是在具有空前数量的图像和注释的大型数据集上进行训练的。这种大规模数据集及其及时性赋予模型强大的零样本泛化能力。尽管 SAM 在多个数据集上表现出了有竞争力的性能，但我们仍然想研究其在医学图像上的零样本泛化。众所周知，医学图像标注的获取通常需要专业从业者的大量努力。

分割任意模型 (SAM) 是最近在通用零样本分割方法中提出的基于提示的分割模型。凭借零样本分割能力，SAM 在各种分割任务上实现了令人印象深刻的灵活性和精度。然而，当前的流程在推理阶段需要手动提示，这对于生物医学图像分割来说仍然是资源密集型的。在本文中，我们没有在推理阶段使用提示，而是引入了一种利用 SAM 的方法（称为 all-in-SAM），贯穿整个 AI 开发工作流程（从注释生成到模型微调），而无需在推理过程中进行手动提示阶段。具体来说，SAM 首先用于根据弱提示（例如点、边界框）生成像素级注释。

Segment Anything Model (SAM) 是图像分割的基础框架。虽然它在典型场景中表现出显着的零样本泛化能力，但当应用于医学图像和遥感等专业领域时，其优势就会减弱。为了解决这一限制，本文引入了 Conv-LoRA，这是一种简单而有效的参数高效微调方法。通过将超轻量级卷积参数集成到低秩适应 (LoRA) 中，Conv-LoRA 可以将与图像相关的归纳偏差注入到普通 ViT 编码器中，进一步强化 SAM 的局部先验假设。

在论文可视化结果时，简介明了的展示我们自己模型的分割结果与gt的区别是十分重要的，因此这里记录一下自己的可视化方式。因为大多数操作都是基于cv2进行的，因此你需要保持输入图像的h，w，c的顺序，RGB的顺序等。没办法贴全自己的所有代码，因此以下代码建议各位借助Chat-GTP学透了再使用，不可盲目使用。

在模型训练过程中，想把控制台内容输出的内容缓存起来，以便后期检查使用，就用起了logger。用的时候遇到过中文乱码问题以及重复缓存问题（模块时，如果实例化了多个 loggers 并且日志处理器没有被正确地移除，可能会导致日志数据重复。在 Python 中使用。

数据处理代码

准确的医学图像分割需要集成多尺度信息从局部特征到全局依赖性。然而，现有方法对远程全局信息进行建模具有挑战性，其中卷积神经网络（CNN）受到其局部感受野的限制，而视觉变换器（ViT）则受到其注意力机制的高二次复杂度的影响。最近，基于 Mamba 的模型因其在长序列建模方面令人印象深刻的能力而受到极大关注。多项研究表明，这些模型在各种任务中都可以优于流行的视觉模型，提供更高的准确性、更低的内存消耗和更少的计算负担。

超声的原始图像不仅包含了用于诊断的信息，还掺杂了诸如机器型号、日期等不相关的信息。为了确保后续神经网络分割的准确性和有效性，需要对这些无关信息进行裁剪，仅保留与分割任务直接相关的img和mask部分。这样既能优化数据处理流程，又能提升后续分析的精准度。

原本以为它是和nn.Conv2d()一样，就看第二个维度的数值，今天才知道，它是只看最后一个维度的数值！！！