1.10论文速递

《Realism in Action: Anomaly-Aware Diagnosis of Brain Tumors from Medical Images Using YOLOv8 and DeiT》

使用 YOLOv8 和 DeiT 对医学图像进行脑肿瘤异常感知诊断

单位：赞詹大学

论文链接：https://arxiv.org/pdf/2401.03302.pdf

本文深入研究了最先进的模型，特别是YOLOv8和DeiT，用于肿瘤检测和分类任务的综合评估，还采用了一种新的性能评估方法，称为患者对患者(PTP)，重点是对模型的现实评估。

在医学领域，由于肿瘤在患者群体中的罕见性，从图像中可靠地检测和分类脑肿瘤仍然是一个巨大的挑战。因此，在异常情况下检测肿瘤的能力对于确保及时干预和改善患者预后至关重要。这项研究通过利用深度学习（DL）技术在具有挑战性的情况下检测和分类脑肿瘤来解决这个问题。来自国家脑映射实验室（NBML）的精心策划的数据集包括81名患者，包括30例肿瘤病例和51例正常病例。检测和分类pipeline被分成两个连续的任务。检测阶段包括全面的数据分析和预处理，以将图像样本的数量和每类患者的数量修改为异常分布（每1个肿瘤9个正常），以符合现实世界的场景。接下来，除了测试的常见评估指标外，我们还采用了一种新的性能评估方法，称为患者对患者（PTP），重点是对模型的现实评估。在检测阶段，我们对YOLOv8n检测模型进行了微调，以检测肿瘤区域。随后的测试和评估在通用评估指标和PTP指标方面都产生了具有竞争力的性能。此外，使用数据高
效图像Transformer（DeiT）模块，我们在分类阶段从微调的ResNet152中提取了视觉Transformer（ViT）模型作为教师。这种方法在可靠的肿瘤检测和分类方面取得了有希望的进展，为现实世界的医学成像场景提供了肿瘤诊断的潜在进展。

《Prompt-driven Latent Domain Generalization for Medical Image Classification》

PLDG：用于医学图像分类的提示驱动latent域泛化

论文链接：https://arxiv.org/pdf/2401.03002.pdf
代码链接：https://github.com/SiyuanYan1/PLDG

本文提出一种新的医学域泛化(DG)框架，用于不依赖域标签的医学图像分类，称为提示驱动的latent域泛化（PLDG），性能表现出色！

用于医学图像分析的深度学习模型很容易受到数据集伪影偏差、相机变化、成像站差异等造成的分布偏移的影响，从而导致在现实世界的临床环境中诊断不可靠。领域泛化（DG）方法旨在训练多个领域上的模型，使其在看不见的领域上表现良好，为解决这一问题提供了一个很有前途的方向。然而，现有的DG方法假设每个图像的域标签是可用的和准确的，这通常只适用于有限数量的医学数据集。为了应对这些挑战，我们提出了一种新的DG框架，用于不依赖域标签的医学图像分类，称为提示驱动的潜在域泛化（PLDG）。PLDG包括无监督领域发现和即时学习。该框架首先通过对与偏见相关的风格特征进行聚类来发现伪领域标签，然后利用协作领域提示来引导视觉转换器从发现的不同领域学习知识。为了促进不同提示之间的跨领域知识学习，我们介绍了一种域提示生成器，它可以在域提示和共享提示之间共享知识。此外，还采用了域混合策略，以获得更灵活的决策裕度，并降低了不正确的域分配的风险。在三个医学图像分类任务和一个去偏任务上的大量实验表明，我们的方法可以在不依赖域标签的情况下实现与传统DG算法相当甚至更高的性能。

《Analysis and Validation of Image Search Engines in Histopathology》

Mayo Clinic提出：组织病理学中图像搜索引擎的分析和验证

单位：梅奥医学中心(Mayo clinic)世界顶级医疗机构

论文链接：https://arxiv.org/pdf/2401.03271.pdf

本文报告了四种搜索方法BoVW、Yottixel、SISH、RetCCL 及其一些潜在变体在组织病理学中图像搜索应用的广泛分析和验证，分析算法和结构并评估它们的性能。
在组织学和组织病理学图像档案中搜索相似图像是一项至关重要的任务，它可以帮助出于各种目的（从分类和诊断到预后和预测）进行患者匹配。WSI是载玻片上组织标本的高度详细的数字表示。 将 WSI 与 WSI 进行匹配可以作为患者匹配的关键方法。本文报告了对四种搜索方法 bag of Visual Words (BoVW)、Yottixel、SISH、RetCCL 及其一些潜在变体的广泛分析和验证。 我们分析他们的算法和结构并评估他们的性能。本文使用了四个内部数据集（1269 名患者）和三个公共数据集（1207 名患者），总共来自五个主要站点的 38 个不同类别/亚型的超过 200,000 个补丁。 某些搜索引擎（例如 BoVW）表现出显著的效率和速度，但准确性较低。 相反，Yottixel 等搜索引擎展示了效率和速度，提供了适度准确的结果。 包括 SISH 在内的最新提案显示出效率低下且产生不一致的结果，而 RetCCL 等替代方案在准确性和效率方面都被证明不足。 进一步的研究必须解决组织病理学图像搜索中准确性和最小存储要求的双重问题。

《Segment Anything Model for Medical Image Segmentation: Current Applications and Future Directions》

医学图像分割的分割一切模型(SAM)综述：当前应用和未来方向

单位：复旦大学, 上海交通大学

论文链接：https://arxiv.org/pdf/2401.03495.pdf
代码链接： https://github.com/YichiZhang98/SAM4MIS

SAM已然成为分割领域中的黄金标准。CVPR 2024、MICCAI 2024上将看到大量SAM魔改工作，远远不限于分割领域。 本文全面概述了将 SAM 扩展到医学图像分割任务的工作，包括基准测试和方法适应，还探讨了 SAM 在医学图像分割中的作用的未来研究方向（仍有很多待优化和解决的任务）。

由于prompting固有的灵活性，基础模型已成为自然语言处理和计算机视觉领域的主导力量。 最近推出的分割一切模型 (SAM) 标志着提示驱动范式在图像分割领域的显著扩展，从而引入了大量以前未开发的功能。 然而，考虑到自然图像和医学图像之间的巨大区别，其应用于医学图像分割的可行性仍然不确定。本文全面概述了近期旨在将 SAM 的功效扩展到医学图像分割任务的努力，包括经验基准测试和方法适应。 此外，我们还探讨了 SAM 在医学图像分割中的作用的未来研究方向的潜在途径。 虽然迄今为止，将 SAM 直接应用于医学图像分割并没有在
多模态和多目标医学数据集上产生令人满意的性能，但从这些工作中收集到的大量见解可以为塑造医学图像领域基础模型的轨迹提供宝贵的指导，分析。

《RudolfV: A Foundation Model by Pathologists for Pathologists》

RudolfV：病理学家为病理学家建立的基础模型

单位：Aignostics公司, 马普所, 德国癌症研究中心等

论文链接：https://arxiv.org/pdf/2401.04079.pdf

本文通过半自动数据管理和结合病理学家领域知识，提出了RudolfV：数字病理学WSI的基础模型，性能表现出色！还构建了103k张切片的不同数据集，7.5亿个图像patches。

组织病理学在临床医学和生物医学研究中起着核心作用。尽管人工智能在许多病理任务上显示出了有希望的结果，但在训练数据匮乏的情况下，泛化和处理罕见疾病仍然是一个挑战。在从可能有限的标记数据中学习之前，将未标记数据中的知识提取到基础模型中，为解决这些挑战提供了一条可行的途径。在这项工作中，我们通过半自动数据管理和结合病理学家领域知识，扩展了数字病理学全玻片图像的基础模型的最新技术。具体而言，我们结合了计算和病理学家领域知识（1）来策划103k张切片的不同数据集，这些切片对应于7.5亿个图像patch，涵盖了来自不同固定、染色和扫描协议的数据，以及来自欧盟和美国不同适应症和实验室的数据，（2）用于对语义相似的切片和组织patches进行分组，以及（3）在训练期间增强输入图像。我们在一组公共和内部基准上评估了
最终的模型，并表明尽管我们的基础模型训练的切片数量级较少，但它的性能与竞争模型不相上下或更好。我们预计，将我们的方法扩展到更多的数据和更大的模型将进一步提高其性能和能力，以处理诊断和生物医学研究中日益复杂的现实世界任务。