双向映射与对比学习在多模态神经影像数据上的应用

Bidirectional Mapping with Contrastive Learning on Multimodal Neuroimaging Data

摘要

通过深度学习技术对大脑结构和功能之间的相互作用进行建模，在识别不同临床表型和脑疾病的潜在生物标志物方面取得了显著成功。然而，大多数现有研究都集中在单向映射上，要么将大脑功能投影到大脑结构上，要么反过来。这种单向映射方法的局限性在于，它将映射视为一种单向任务，并忽视了这两种模态之间的内在统一性。此外，当处理相同的生物大脑时，从结构到功能的映射和从功能到结构的映射产生的结果不同，突显了单向映射中可能存在偏差的可能性。

为了解决这个问题，本文提出了一种新颖的双向映射模型，命名为带对比学习的双向映射（BMCL），通过ROI级对比学习减少这两个单向映射之间的偏差。

方法

Fig. 1: Bidirectional Mapping with Contrastive Learning (BMCL)的流程图。大脑结构网络和BOLD信号最初由两个单独的编码器进行处理以进行表示学习。随后，对这些提取的表示进行ROI级对比学习，促进它们在一个公共空间中的对齐。然后，这些派生的表示被用于下游的预测任务。

通过从BOLD信号生成的潜在表示 $Z_B\in {\mathbb{R}}^{N\ast d_B}$和从结构网络生成的潜在表示 $Z_S\in {\mathbb{R}}^{N\times d_S}$，然后进行ROI级的对比学习，将多模态脑测量的静态结构和动态功能模式关联起来。对比学习损失的目标是最小化两种模态的潜在表示之间的差异。
首先利用线性层将 $Z_B$ 和$Z_S$ 投影到公共空间，获得$Z_B^{\prime }=W{Z}_B+b$，$Z_B^{\prime }\in {\mathbb{R}}^{N\times d}$ 和类似地， $Z_S^{\prime }\in {\mathbb{R}}^{N\times d}$。我们使用$(z_{B_i},z_{S_i}{)}_{i=1}^N$ 表示来自相同ROI的表示，其中 $z_{B_i}$ 和 $z_{S_i}$分别是$Z_B^{\prime }$ 和$Z_S^{\prime }$ 的元素。对于相同的脑ROI，静态结构表示和动态功能对应物理应具有最大相似性。相反，对于不匹配的对，表示为 $(z_{B_i},z_{S_j}{)}_{i\ne j}$，这些来自不同的ROI，并且应该具有最小相似性。
公式如下：

实验结果