1.9论文速递

《Generalizable vision-language pre-training for annotation-free pathology localization》

AFLoc：用于无注释病理定位的通用视觉语言预训练

单位：中科院, 鹏城实验室, 国科大, 港大
论文链接：https://arxiv.org/pdf/2401.02044.pdf

AFLoc：一种用于无注释病理定位的通用视觉语言预训练模型，核心优势在于其无图像注释的基于多级语义结构的对比学习，它全面对齐来自具有丰富图像特征的报告的多粒度医学概念，在多个医学任务上性能表现SOTA！
从医学图像中自动定位病理有助于了解疾病的出现和进展，这种能力可以极大地有益于临床诊断。 然而，现有的深度学习模型严重依赖专家注释，缺乏开放临床环境下的泛化能力。 在这项研究中，作者提出了一种用于无注释病理定位（AFLoc）的通用视觉语言预训练模型。 AFLoc 的核心优势在于其无图像注释的基于多级语义结构的对比学习，它全面对齐来自具有丰富图像特征的报告的多粒度医学概念，以适应观察到的和新出现的看不见的病理的多样化表达。 作者在 4 个不同的外部数据集（涵盖 11 种胸部病理类型）中进行了广泛的实验验证，以验证其泛化能力。 结果表明，AFLoc 超越了 6 种最先进的方法，甚至在定位 5 种不同病理方面优于人类基准，强调了其对复杂临床环境的适用性。

MIA2023：《Prompt Tuning for Parameter-efficient Medical Image Segmentation》

参数高效医学图像分割的提示微调

单位：斯图加特大学
论文链接：https://arxiv.org/pdf/2211.09233.pdf
代码链接：https://github.com/marcdcfischer/PUNet

本文提出一种可提示的UNet（PUNet）架构，即参数高效医学图像分割的提示微调方法，性能提升显著！优于
SwinUNETR等网络，代码已开源

在自监督方案上预训练的神经网络已经成为在数据丰富、注释稀少的环境中操作的标准。因此，以参数高效但有效的方式，例如在语义分割的情况下，对于新的一组类，将模型微调到下游任务，变得越来越重要。在这项工作中，作者提出并研究了在两个医学成像数据集上实现参数高效但有效的语义分割自适应的几个贡献。依靠最近流行的提示微调方法，提供了一种可提示的UNet（PUNet）架构，该架构在预训练后被冻结，但可通过依赖于类的可学习提示令牌在整个网络中进行自适应。作者使用专用的密集自我监督方案对该架构进行了预训练，该方案基于在线生成的师生组合原型（对比原型作业，CPA）的作业，以及一个子集的同时分割损失。文章证明，所得到的神经网络模型能够在CT成像数据集上缩小完全微调模型和参数有效调整模型之间的差距。因此，在平均骰子相似系数（DSC，以%为单位）中，TCIA/BTCV数据集的完全精细调整和提示微调变体之间的差异仅为3.83pp，CT-ORG数据集的差异为2.67pp，而仅微调对应于6.8M冻结参数的预训练骨干模型的0.85%的提示微调。

MIA2023：《A Survey on Deep Learning for Skin Lesion Segmentation》

皮肤病变分割深度学习：全面调研

单位：西蒙菲莎大学等

论文链接：https://arxiv.org/pdf/2206.00356.pdf
代码链接：https://github.com/sfu-mial/skin-lesion-segmentation-survey

本文全面审查了 177 篇基于深度学习的皮肤病变分割的研究论文，从多个维度分析这些工作，包括输入数据（数据集、预处理和合成数据生成）、模型设计（架构、模块和损失）和评估方面（数据注释要求和分割性能），强烈推荐大家下载阅读学习！

皮肤癌是一个主要的公共卫生问题，计算机辅助诊断可以减轻这种常见疾病的负担。 图像中的皮肤病变分割是实现这一目标的重要一步。 然而，自然和人造伪影（例如毛发和气泡）、内在因素（例如病变形状和对比度）以及图像采集条件的变化的存在使得皮肤病变分割成为一项具有挑战性的任务。 最近，各种研究人员探索了深度学习模型在皮肤病变分割中的适用性。 在这项调查中，作者交叉审查了 177 篇涉及基于深度学习的皮肤病变分割的研究论文。 作者从多个维度分析这些工作，包括输入数据（数据集、预处理和合成数据生成）、模型设计（架构、模块和损失）和评估方面（数据注释要求和分割性能），并从精选的开创性作品的角度和系统的角度讨论这些维度，研究这些选择如何影响当前趋势，以及应如何解决它们的局限性。

MIA2023：《Weakly Supervised Joint Whole-Slide Segmentation and Classification in Prostate Cancer》

前列腺癌的弱监督联合WSI分割和分类

单位：IBM研究院, 哈佛医学院, ETH Zurich, EPFL等

论文链接：https://arxiv.org/pdf/2301.02933.pdf

WholeSIGHT：一种弱监督方法，用于同时对任意形状和大小的 WSI 进行分割和分类，在所有数据集上实现了最先进的弱监督分割性能！并具有超强的泛化性！

诊断感兴趣的组织学区域的分割和自动识别为病理学家提供了宝贵的帮助。 然而，分割方法因难以获得像素级注释而受到阻碍，对于全幻灯片图像（WSI）而言，获得像素级注释既繁琐又昂贵。 为了解决这个问题，开发了弱监督方法来利用图像级别直接可用的注释。 然而，据我们所知，这些技术都不适用于处理 WSI。 在本文中，作者提出了 WholeSIGHT，一种弱监督方法，用于同时对任意形状和大小的 WSI 进行分割和分类。 形式上，WholeSIGHT 首先构建 WSI 的组织图表示，其中节点和边分别描述组织区域及其相互作用。 在训练期间，图分类头对 WSI 进行分类，并通过事后特征归因生成节点级伪标签。 然后使用这些伪标签来训练用于 WSI 分割的节点分类头。 在测试期间，两个头同时渲染输入 WSI 的类预测和分割。 我们在三个公共前列腺癌 WSI 数据集上评估了 WholeSIGHT。 所提出的方法在所有数据集上实现了最先进的弱监督分割性能，同时相对于最先进的弱监督 WSI 分类方法产生了更好或可比的分类。 此外，作者还量化了我们的方法在分割和分类性能、不确定性估计和模型校准方面的泛化能力。

《A Recent Survey of Vision Transformers for Medical Image Segmentation》

医学图像分割的视觉Transformer：最新综述

论文链接：https://arxiv.org/pdf/2312.00634.pdf

60页综述！164篇文献！本文全面回顾了用于医学图像分割的ViT和混合CNN-ViT的最新进展，详细概述了它们在各种医学图像模态中的应用。这篇文章旨在为研究人员、医疗从业者和学生提供宝贵的资源，帮助大家了解基于ViT的医学图像分割的最先进方法。

医学图像分割在各种医疗保健应用中发挥着至关重要的作用，可实现准确的诊断、治疗计划和疾病监测。 传统上，卷积神经网络（CNN）在该领域占据主导地位，擅长局部特征提取。 然而，它们在捕获跨图像区域的远程依赖性方面的局限性给分割医疗数据中经常遇到的复杂、互连的结构带来了挑战。 近年来，视觉Transformer（ViTs）已成为解决医学图像分割挑战的一种有前景的技术。 他们的多尺度注意力机制能够对远处结构之间的远程依赖性进行有效建模，这对于分割图像上的器官或病变至关重要。 此外，ViT 能够辨别细微的图案异质性，从而能够精确描绘复杂的边界和边缘，这是精确医学图像分割的一个关键方面。 然而，它们确实缺乏与图像相关的归纳偏差和平移不变性，可能会影响它们的性能。 最近，研究人员提出了各种基于 ViT 的方法，将 CNN 纳入其架构中，称为混合视觉Transformer(HVT)，除了图像中的全局信息之外，还可以捕获局部相关性。 本调查论文详细回顾了医学图像分割领域 ViT 和 HVT 的最新进展。 除了基于 ViT 和 HVT 的医学图像分割方法的分类之外，我们还详细概述了它们在几种医学图像模态中的实时应用。 这项调查可以作为研究人员、医疗保健从业者和学生了解基于 ViT 的医学图像分割的最先进方法的宝贵资源。