AI计算病理学(wsi,因果)

AI计算病理学(wsi,因果)

Bi-directional Weakly Supervised KnowledgeDistillation for Whole Slide lmage Classification（NeurlIPS 2022）

双向若监督知识蒸馏WSI分类

临床问题：WSI诊断

1. TASK1-global（slide-level）classification（patient级别，阴性阳性）
2. TASK2-instance（patch-level）localization（病变位置）

挑战：

1. WSI图像很大（5w * 5w，传统224 * 224）

   解决：通常把slide切成小patch（512 * 512），patch很多，有gigapixel的问题

2. 传统一张图一个标注，一个slide成千上万个patch，每个patch标注困难（做不到细粒度），slide标注简单，上万的patch只有一个标注，weak label

通常学术界使用：Multiple Instance Learning Formulation

slide切出来的patch共同对应一个bag，bag里有很多instance（patches）

1. 对于阴性slide，切出来的patch都是阴性
2. 对于阳性slide，切出来的patch至少存在一块阳性patch

找到slide级分界面（对应task1），把每一个bag分开

找到潜在的分界面把阳性patch分隔开（task2）

当前主流：

Instance-based Multiple Instance Learning Methods

对于每个Instance，训练一个DNN分类器，对于每个Instance预测，所有分数pooling后输出final score

这种方法存在问题：

没有每个Instance的label，需要给每个Instance伪标签，简单来说，阳性都给阳，阴性都给阴，但是阳性不一定都是阳性的patch，存在大量noise，计算损耗比较大。

Bag-based Multiple Instance Learning Methods

bag中每个instance提取representation，对每个representation聚合，得到final representation再通过FC进行打分

避免了noise

Attention-based MIL（ICML 2018）

每个instance的重要程度不同，新做一个小网络，输出attention对每个patch赋予不同权重

Non-local-attention-based MIL (CVPR 2021)

Transformer-based MIL (NIPS 2021)

存在缺点：（bag中阳性instance程度不一样，有的肿瘤区域大有的小，识别难难易程度不一样）

这些方法的loss定义在bag级别，attention model找到最容易识别的位置就收敛了，但是很难找到hard positive，无法识别困难的区域

WENO

用弱监督知识蒸馏方式集合bag级别的attention和instance级attention

Interventional Bag Multi-Instance Learning On Whole-Slide Pathological Images(CVPR 2023)

基于因果干预的WSI多实例学习方法

WSI通常被定义为多instance学习问题，临床上通常只有整张图的结果

现有工作：Existing bag-level MIL: Two-stage paradigm

better feature extractor,better aggregator，发展到无监督

现在方法存在问题：

Biased bag classification

bias1（dataset bias）：阳性染成了粉色，阴性染成了紫色，误导模型，粉色切片越多倾向为阳性

bias2（attention bias）：silde判断对了，但是attention聚焦的地方是不合理的

bias可以归结为bag contextual prior：信息被来自同一个类别的包共享，但是这些信息和实际类别无关

改进模型无法避免，从因果推断角度改进：

Struct casual model for MIL

C：bag contextual prior

Y：prediction

X：Bag输入图片

C->X：This link reflects the generation of whole-slideimages.数据生成的过程

X->Y：模型通过病理图里的真实的content做预测

C->Y：模型预测同时受到上下文先验的影响

C在因果中实际开启了 XY的backdoor ，XY之间的伪相关

提出了三阶段范式：A three-stage paradigm: Interventional Bag Multi-Instance Learning(IBMIL)

额外阶段：干预训练，打断C->X，迫使网络学X->Y的因果性

使用模式：因果推断中的后门调整模式

1.聚类找出聚类中心（WSI上全局聚类通常能得到一个视觉的bias，这个是混杂信息）

2.和新来的bag的feature特征融合，上面用cross-attention

3.对混杂区定义先验分布，这里用均匀分布

近似，上面求积分的过程需要forward很多次，需要求近似，求和过程放到特征层，forward一次

这个和模型和任务无关的。

图卷积网络驱动的组织病理图像智能分析方法研究

报告，总结成果

诊断：

1. 病理ROI分类：癌症确诊，癌症分型
2. 病例WSI分类：癌症分型，癌症分期

CNN只能捕获欧式数据的局部相邻信息

GCN可以对非欧式数据进行表示学习