Breast Cancer Classification from Digital Pathology Images via Connectivity-aware Graph Transformer

        一种新的连通性感知图形转换器（CGT），用于对从数字病理图像构建的组织图的拓扑连通性进行表现，用于乳腺癌分类。

        CGT通过使用局部连通性聚合，将嵌入到每个图形变换层节点特征的连通性无缝地集成在一起，以产生更全面的图来区分不同的乳腺癌亚型。

        将任意两个节点之间的空间距离编码为自我注意力计算中的连通性偏差，从而允许CGT根据两个节点的距离来区别地利用连通性嵌入。

---

        大多数现有的基于GNN的方法通过将病理图像平铺成多个较小的块并将它们设置为图节点来重建图。这种策略不能捕获细胞 / 组织之间的拓扑关系。为了在计算成本和有效的特征提取之间取得平衡，通常需要选择最佳的块分辨率。

        可以将数字病理图像中的生物实体分割为图节点来构建实体图，例如细胞和组织。实体图能够更好地反映生物实体的拓扑分布和内在相互作用。与细胞图相比，组织图能够更自然地捕捉相关的形态区域。

        现代基于GNN的组织图像分析方法主要由消息传递GNN主导。然而，消息传递机制只能将消息传播到邻居节点。导致远距离节点之间的依赖关系不能被充分挖掘。

        为了捕捉GNN中图形节点之间更多的全局长程依赖关系，以进一步提高它们的表示能力，基于变换的GNN，有时也被称为全连接GNN或Graph Transformer。尽管这种完全连接的机制在所有节点之间传递消息，但它在很大程度上忽略了输入图的实际连接性，从而在某种程度上丢失了图的结构信息。

基于Transformer的GNN

        大多数现有的基于Transformer的GNN通常只通过将各个节点的可学习位置编码注入到输入层来结合结构信息，然而，该方案忽略了后续训练周期中连接节点的作用，从而使得结构信息难以对生成的表示产生有效和深远的影响。

        当基于Transformer的GNN计算所选节点的自注意力时，它们平等地对待其他节点，忽略它们到所选节点的空间距离。

消息传递GNNs(MP-GNNs)

        为了提高图的表示能力，MP-GNNs要么堆叠多个GNN层，要么应用高阶GNN层来逐步聚集来自远处节点的信息。

        MP-GNN的表达能力主要受到的限制：

        ①过度平滑，其中所有节点表示在穿过许多堆叠的GNN层后容易收敛到一个常数；

        ②过度挤压，其中远处的节点对不能有效地使用图中的信息传递机制进行交互，因为它们的交互信息被直接压缩成固定长度的节点特征。

Connectivity-aware Graph Transformer (CGT)

        基于Transformer的GNN的自我注意力机制使得任意两个节点能够进行信息交互。

        一方面，基于Transformer的GNN将图节点看作一个离散的表征序列，不再关注节点之间的连接关系，从而增强模型的全局推理能力。

        另一方面，自注意力机制忽略内在的图结构，无法识别具有相似结构的节点并捕获图的拓扑结构。

        在不调整Transformer结构的情况下，将结构信息编码到基于变压器的GNN中

1. 初步措施

        设表示从病理图像构造的属性无向实体图。其中是顶点集，E是边集，N是节点的数量，一组节点特征由，其中F是特征维度。无向图的拓扑结构由对称邻接矩阵描述。

        给定一个函数空间为F的广义神经网络用于多类分类，训练这个网络就是找到一个分类器函数f∈F，它可以有效地将乳腺癌数据的输入图表示映射到合适的预测或分类。分类器的作用是为每个输入图分配一个标签或分数，指示属于特定乳腺癌类别的可能性。

        训练样本的总数由表示，表示每个训练样本的损失函数，目标是最小化整个训练集的平均损失。

2. 组织图构建

        将病理图像中的组织区域视为节点，构建组织图而不是细胞图。首先，肿瘤中的癌细胞嵌入到复杂的组织中，即由免疫细胞、基质细胞和血管组成的组织微环境。这些组织区域在组织微环境中的相互作用对肿瘤区域的进化施加了不同的选择压力。病理学家主要依靠观察组织微环境的组织分布并研究其特征来确定癌症的类型和分级。其次，组织图的节点比细胞图少得多，从而大大降低了计算成本。因此要构建组织图来支持提出的CGT，从而鼓励CGT有效地捕捉和理解高层次的组织微环境。

        对于组织图，其节点V和边E分别表示组织区域及其关系，从病理图像中识别组织区域有两个步骤：①简单线性迭代聚类（SLIC）算法的无监督分割算法，将像素初始分组为非重叠超像素。②通过比较超像素的RGB值，将几个相似的非重叠超像素合并到一个均匀的组织区域中，该区域捕捉有意义的组织信息。合并后的组织区域的质心被认为是组织图的节点V={v1，v2，···，Vn}。

        通过对第 i 个组织区域构成的超像素的CNN特征进行平均，得到与第 i 个组织区域对应的节点特征 。这样，一组构成组织图的节点特征，其中F是特征维度。由于相邻的组织区域预计在生物上相互作用最多，因此它们在组织图中被设置为连接。

用于组织病理学的CGT

        将图的连通性信息巧妙地结合到模型中。在经典Transformer编码器的原型实现基础上设计了CGT体系结构，其中编码器由多个Graph Transformer Layer（GTL）组成。每个GTL包括多头自我注意力（MHA）模块和基于位置的前馈网络（FFN）。

标准GTL的计算过程：

LN是层归一化函数，是第一层GTL的输入，即给定组织的节点特征。表示第L个GTL的输出。

层归一化介绍https://blog.csdn.net/qq_26169815/article/details/136674751批量归一化层介绍https://blog.csdn.net/m0_62919535/article/details/131638190

嵌入本地连接聚合的连接

对于每个节点 i ，可以使用MHA模块中的自我注意机制来计算节点i与其他节点之间的语义相关性，隐含地反映了节点对之间的关系和图的结构信息。然而，这样的注意力计算将任何图视为完全连通的图，而不管节点对在图结构中是否实际连接。

在组织拓扑表现得节点特征中加入连通性嵌入（CE）,我们在输入层嵌入作为初始可学习连通性。

其中，Deg(.)表示计算节点度的函数，表示可学习嵌入函数。

函数创建可学习矩阵 ，以将不同的次数映射到相应的嵌入。其中是可学习嵌入的数目。由于具有不同数目连接节点的节点具有不同的拓扑信息，所提出的 CE 使我们的CGT能够在计算CGT中的自我注意力之前区分每个节点的连接能力。

---

将每个CE添加到输入层中其对应的节点特征，，其中是增加连通性嵌入的函数，是平衡  和  之间特征尺度的惩罚参数。标准的基于Transformer的GNN认为每个节点都与所有其他节点连接。给定一个节点嵌入  ，传统GTL的更新公式为：

提出局部连通性聚合(LCA)方法，在每个GTL的节点特征中添加聚合的连通性嵌入（CE）