ECCV2024 革新病理学！DGR-MIL多样性学习助力癌症诊断！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba和医学影像】交流群

添加微信号：CVer111，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：极市平台

 

本文提出了一种基于多元全局表示（DGR-MIL）的新型MIL聚合方法，所提出的模型在 CAMELYON-16 和 TCGA-肺癌数据集上大大优于最先进的 MIL 聚合模型。 

Paper Link: https://arxiv.org/pdf/2407.03575

Github: https://github.com/ChongQingNoSubway/DGR-MIL

引言

在现代医学中，精确诊断癌症已成为提高患者生存率的关键。全片图像（WSI）技术因其能详细展现组织的微观结构而成为病理学诊断的重要工具。然而，WSI的高分辨率和庞大数据量给自动化处理带来了巨大挑战。多实例学习（MIL）作为一种弱监督学习方法，在处理此类图像数据中显示出独特优势。传统的MIL方法虽然在某些领域表现出色，但在处理WSI时常常忽视了实例之间的多样性。在开发DGR-MIL模型的过程中，主要的动机之一是解决传统多实例学习（MIL）方法在处理全片图像（WSI）中观察到的明显多样性问题。这种多样性主要体现在病变组织的异质性以及正常与病变组织间的显著区别上。以下是详细探讨这些动机和观察到的多样性：

1.组织的异质性

在全片图像中，即使是同一病变类型的组织，其表现形式也可能因人而异，甚至在同一患者的不同区域中也会有所不同。例如，肿瘤组织在形态、大小、颜色和纹理上都可能表现出高度的多样性。这种异质性使得传统的基于单一或少数特征的分类方法难以准确识别和分类所有相关实例。

2.实例间的多样性

在MIL的背景下，每个“实例”（即WSI中的图像块）可能代表了不同的组织类型，包括健康组织和各种程度的病变组织。这些实例之间的多样性不仅体现在它们的视觉特征上，还体现在它们对最终诊断结果的贡献度上。传统MIL方法往往忽略了实例间这种内在的差异性，从而可能导致信息的丢失或过度简化。

3.正负实例的界限模糊

在WSI中，正实例（包含病变的图像块）和负实例（正常组织图像块）之间的界限可能并不总是明显。肿瘤边缘区域的图像块可能同时包含肿瘤细胞和正常细胞，这为MIL方法的实例分类增加了复杂度。有效地处理这种边界上的模糊性是提高诊断准确性的关键。

如图所示，我们使用率失真定理去量化不同类包的多样性还有他们直接的差异。

DGR-MIL模型介绍

DGR-MIL（Diverse Global Representation in Multiple Instance Learning）模型是一种先进的多实例学习方法，专为全片图像（WSI）的分类任务设计，特别是在病理学中用于癌症检测。该模型的核心创新在于其对实例间多样性的强调和全局向量的使用，以改善传统MIL方法在处理具有高度异质性特征的医学图像时的性能限制。

DGR-MIL方法的关键组件

1. 全局向量的引入

在DGR-MIL中，全局向量充当整个图像包（WSI中的所有块）的代表，捕捉关键的信息和特征。这些向量是可学习的，意味着它们会在训练过程中不断更新，以更好地代表和总结WSI中的关键特征。全局向量的主要作用是为模型提供一种机制，通过与实例（即图像块）的相互作用来识别哪些实例最具有代表性和信息性。

2. 跨注意力机制

DGR-MIL模型采用了跨注意力机制，这是一种修改版的自注意力机制，允许模型不仅考虑实例内的特征，而且还可以评估实例与全局向量之间的关系。在这种设置中，全局向量作为查询（query），实例特征作为键（key）和值（value），模型通过计算它们之间的相互作用来确定每个实例的重要性。这种机制特别适用于处理WSI，因为它允许模型在巨大的实例空间中有效地捕捉关键区域，而不必牺牲计算效率。

3. 正向实例对齐和多样性学习

为了进一步提升全局向量的效用和精确性，DGR-MIL实施了正向实例对齐机制。这一机制鼓励全局向量向正实例（例如，包含肿瘤的图像块）靠拢，从而使得模型在进行分类决策时更加关注于这些关键实例。此外，多样性学习是通过引入一个基于确定性点过程（DPP）的多样性损失来实现的，这有助于确保全局向量之间保持足够的区分度，从而覆盖更广泛的实例特征空间。

行列式点过程（DPP, Determinantal Point Process）是一种概率模型，用于模拟具有排斥性（即元素间倾向于互相排斥而不是聚集在一起）的随机点集的分布。在机器学习和数据分析中，DPP常用于确保从数据集中选出的样本或特征集合具有高度的多样性。DPP在DGR-MIL模型中的应用主要是用来增强全局向量的多样性，以更好地捕捉和表示数据中的复杂和多变特征。

在DGR-MIL模型中，DPP用于确保学习到的全局向量尽可能地多样化。具体来说，模型通过最大化全局向量间相似度矩阵的行列式来实现这一点。这种方法可以形象地理解为通过推动全局向量在向量空间中尽可能地“分开”来减少它们之间的冗余，从而能够覆盖更广泛的特征空间，提高模型对各种病理特征的捕捉能力。

在DGR-MIL中实现DPP的一个关键步骤是定义一个多样性损失函数，该函数基于全局向量的Gram矩阵（即向量之间的内积矩阵）。多样性损失可以表达为Gram矩阵行列式的负对数。优化这个损失函数将导致模型倾向于选择彼此尽可能正交（即无关）的全局向量。这样不仅增加了向量间的多样性，还有助于模型捕捉和区分数据中的不同模式和结构。同时这个loss只拥有线性复杂度。

目标函数

研究成果与实验验证

在CAMELYON-16和TCGA肺癌数据集上的实验结果表明，DGR-MIL在癌症组织分类任务中的性能超过了多个现有的先进模型。模型的成功部分得益于其能够有效利用WSI中实例的多样性，提高了对复杂病理图像的诊断准确率。实验中，DGR-MIL展示了其优越的特征提取能力和更高的分类精度。

案例研究

通过具体的病例分析，可以看到DGR-MIL如何在实际的病理图像中定位并识别癌症组织。图像分析结果清晰地展示了模型如何区分正常组织和癌变组织，尤其是在边界区域处理上的优势。这对于早期发现和诊断癌症至关重要。

结论与展望

DGR-MIL模型的提出为WSI的自动化分析开辟了新的可能性，特别是在处理高异质性的癌症组织时。未来的研究将进一步优化模型结构，提高其在更广泛数据集上的泛化能力。此外，我们也期待该技术能够在临床应用中发挥更大的作用，助力医生做出更准确的诊断。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、医学影像交流群成立

扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba、医学影像微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、医学影像+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看