All-In：局部-全局图驱动的基于蒸馏的十亿像素组织病理学图像表示学习模型及其在癌症风险评估中的应用

ALL-IN: A Local GLobal Graph-Based DIstillatioN Model for Representation Learning of Gigapixel Histopathology Images With Application In Cancer Risk Assessment

摘要

对于组织病理学图像分析中的疾病诊断，机器学习模型的效用已经得到了广泛研究。然而，对于患者风险分层的努力相对较少。在本研究中，探索了在图形神经网络中结合全局和局部特征进行患者风险分层的方法。提出的网络结合了精细和粗糙的组织病理学模式，并利用它们的相互作用来改善风险分层。

代码地址

方法

图1. 提出方法的概述。
a) 输入幻灯片被分割成不重叠的块。
b) 这些块被输入到一个自监督编码器中，以提取嵌入。
c) 构建了一个图，并通过消息传递过程获得了新的局部实例级嵌入。
d) 以超级节点的形式提取了全局上下文表示，利用两个无监督损失函数(RminCUT，Rorthognal)。
e) 在蒸馏模块中聚合了细粒度和粗粒度特征向量，以获得既考虑局部又考虑全局（上下文）组织形态特征的表示。在这个模块中探索了三种不同的策略（S1、S2、S3）。最后，使用多层感知器(MLP)来估计风险，使用最终的结果向量。

实验结果