AI计算病理学(wsi,因果)
Bi-directional Weakly Supervised KnowledgeDistillation for Whole Slide lmage Classification(NeurlIPS 2022)
双向若监督知识蒸馏WSI分类
临床问题:WSI诊断
- TASK1-global(slide-level)classification(patient级别,阴性阳性)
- TASK2-instance(patch-level)localization(病变位置)
挑战:
-
WSI图像很大(5w * 5w,传统224 * 224)
解决:通常把slide切成小patch(512 * 512),patch很多,有gigapixel的问题
-
传统一张图一个标注,一个slide成千上万个patch,每个patch标注困难(做不到细粒度),slide标注简单,上万的patch只有一个标注,weak label
通常学术界使用:Multiple Instance Learning Formulation
slide切出来的patch共同对应一个bag,bag里有很多instance(patches)
- 对于阴性slide,切出来的patch都是阴性
- 对于阳性slide,切出来的patch至少存在一块阳性patch
找到slide级分界面(对应task1),把每一个bag分开
找到潜在的分界面把阳性patch分隔开(task2)
当前主流:
Instance-based Multiple Instance Learning Methods
对于每个Instance,训练一个DNN分类器,对于每个Instance预测,所有分数pooling后输出final score
这种方法存在问题:
没有每个Instance的label,需要给每个Instance伪标签,简单来说,阳性都给阳,阴性都给阴,但是阳性不一定都是阳性的patch,存在大量noise,计算损耗比较大。
Bag-based Multiple Instance Learning Methods
bag中每个instance提取representation,对每个representation聚合,得到final representation再通过FC进行打分
避免了noise
Attention-based MIL(ICML 2018)
每个instance的重要程度不同,新做一个小网络,输出attention对每个patch赋予不同权重
Non-local-attention-based MIL (CVPR 2021)
Transformer-based MIL (NIPS 2021)
存在缺点:(bag中阳性instance程度不一样,有的肿瘤区域大有的小,识别难难易程度不一样)
这些方法的loss定义在bag级别,attention model找到最容易识别的位置就收敛了,但是很难找到hard positive,无法识别困难的区域
WENO
用弱监督知识蒸馏方式集合bag级别的attention和instance级attention
Interventional Bag Multi-Instance Learning On Whole-Slide Pathological Images(CVPR 2023)
基于因果干预的WSI多实例学习方法
WSI通常被定义为多instance学习问题,临床上通常只有整张图的结果
现有工作:Existing bag-level MIL: Two-stage paradigm
better feature extractor,better aggregator,发展到无监督
现在方法存在问题:
Biased bag classification
bias1(dataset bias):阳性染成了粉色,阴性染成了紫色,误导模型,粉色切片越多倾向为阳性
bias2(attention bias):silde判断对了,但是attention聚焦的地方是不合理的
bias可以归结为bag contextual prior:信息被来自同一个类别的包共享,但是这些信息和实际类别无关
改进模型无法避免,从因果推断角度改进:
Struct casual model for MIL
C:bag contextual prior
Y:prediction
X:Bag输入图片
C->X:This link reflects the generation of whole-slideimages.数据生成的过程
X->Y:模型通过病理图里的真实的content做预测
C->Y:模型预测同时受到上下文先验的影响
C在因果中实际开启了 XY的backdoor ,XY之间的伪相关
提出了三阶段范式:A three-stage paradigm: Interventional Bag Multi-Instance Learning(IBMIL)
额外阶段:干预训练,打断C->X,迫使网络学X->Y的因果性
使用模式:因果推断中的后门调整模式
1.聚类找出聚类中心(WSI上全局聚类通常能得到一个视觉的bias,这个是混杂信息)
2.和新来的bag的feature特征融合,上面用cross-attention
3.对混杂区定义先验分布,这里用均匀分布
近似,上面求积分的过程需要forward很多次,需要求近似,求和过程放到特征层,forward一次
这个和模型和任务无关的。
图卷积网络驱动的组织病理图像智能分析方法研究
报告,总结成果
诊断:
- 病理ROI分类:癌症确诊,癌症分型
- 病例WSI分类:癌症分型,癌症分期
CNN只能捕获欧式数据的局部相邻信息
GCN可以对非欧式数据进行表示学习