Multimodal super-resolved q-space deep learning

Namilon

已于 2024-02-28 19:05:43 修改

阅读量115

点赞数 1

文章标签：深度学习人工智能

于 2023-10-04 21:23:20 首次发布

本文链接：https://blog.csdn.net/weixin_48029667/article/details/133272164

版权

名词学习

Multimodal Deep Learning（多模态深度学习）

开发能够同时处理和学习多种类型数据的模型，这些数据类型也可称为模态。包括文本、图像、音频、视频和传感器数据等。

多模态深度学习旨在创建更强大和多功能的人工智能系统，能够更好地理解、解释复杂的现实世界数据并采取行动。

q-space

q向量是所应用的扩散梯度随时间的积分，如果梯度在某个脉冲期间是恒定的，那么它将是旋磁比乘积、梯度幅度和方向。

当使用足够的样本对q-space进行采样时，我们可以使用3D傅里叶变换，并且重建水分子的位移概率函数。

在生物组织中，位移概率函数是非高斯函数

磁共振成像MRI

MRI的工作原理基于核磁共振现象。当置身于强大的磁场中时，人体内的氢原子核会发生共振，产生信号。通过应用额外的磁场梯度和射频脉冲，可以测量这些信号并用于构建图像。不同类型的组织具有不同的信号特性，从而在图像中呈现出不同的对比度。

利用核磁共振原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测发射出的电磁波，可以得到构成这一物体原子核的位置和种类，据此可以绘制物体内部的结构图像。

弥散磁共振成像dMRI

可以测量水分子的扩散，间接绘制人类大脑的轴突连接。

稀疏表示

对于一个信号或数据向量，稀疏表示假设可以使用一个较小的基函数集合（通常称为“字典”）中的一小部分来表达。这就意味着大部分系数是零，只有少数非零系数对于重构原始信号或数据是必要的。

扩散信号

扩散信号通常指的是在核磁共振成像（MRI）中使用的扩散加权成像方法所产生的信号。在MRI中，水分子的运动会影响MRI信号。通过应用强梯度脉冲，可以对水分子的扩散进行敏感的编码。在这种情况下，所谓的“扩散信号”指的是受到梯度引导的水分子扩散引起的MRI信号变化。

弥散张量成像DTI

依据水分子移动方向制图。

弥散：分子的随机不规则运动，是人体内的物质转运方式之一，又称布朗运动。

各向同性弥散：在完全均匀的介质中，分子的运动没有障碍，向各个方向运动的距离是相等的。

各向异性弥散：具有方向依赖性，在按一定方向排列的组织中，分子向各个方向弥散的距离不等。

目的

在临床环境中，由于成像时间的限制，dMRI采集的扩散梯度数量和空间分辨率也是有限的，这会导致成像结果质量低下。

设计允许从低质量的dMRI扫描中估计高质量组织微观结构的方法。

解决扩散梯度数量问题：使用从训练数据中学习的随机森林回归，可以在减少扩散梯度的情况下可靠地计算扩散张量。

解决空间分辨率问题：使用超分辨率深度网络，使得可以通过使用在q空间中欠采样的信号采集的低分辨率dMRI扫描来进行高分辨率（HR）组织微观结构估计。

SR-q-DL 超分辨q空间深度学习

旨在使用深度网络（以扩散信号的3D LR patches为输入，输出高分辨率的组织微观结构patches，所有的patches在空间中连接以生成最终的HR组织微观结构图）从低质量扩散信号中计算高分辨率组织微观结构（以低空间分辨率采集并在q空间中欠采样）。

r	physical voxel sizes of LR patches/physical voxel sizes of HR patches in each dimension
M³	sizes of input patches
N³	sizes of output patches
K	the number of diffusion gradients
C	the number of tissue microstructure measures

其中M＞N/r，以保证空间域中的冗余信息可以被用于分辨率增强。

通过利用q空间中扩散信号的稀疏性开发深度网络，这优于传统的CNN网络。

首先利用第一个网络组件（用于具有学习权值的稀疏重建的迭代过程）计算LR input patch的每个体素的欠采样扩散信号的稀疏表示。

假设每个体素处的扩散信号向量为y，如果y可以由具有非负稀疏系数x的字典φ表示，即y=φx。

如果φ已知，则：

，其中β为加权常数。

通过IHT方法可以迭代求解出x：

，第一个网络模型便利用这个等式对x进行求解。

其中t代表迭代次数，W和S是从φ导出的矩阵，hλ为阈值为λ的阈值函数。

然后利用第二个网络组件将根据LR稀疏表示计算HR组织微观结构。

由第一个组件给出的稀疏表示的LR patch通过第二个组件，第二个部件使用3D-ESPCN架构来计算HR组织微观结构补丁，用于超分辨率。

现有的HR组织微观结构估计方法只利用了低质量dMRI扫描中的信息，而没有利用已经采集到的其他模态的信息，这些模态的HR信息可以为HR组织微观结构估计提供额外的有用信息。

因此，文章扩展了SR-q-DL，在此基础上，提出了MSR-q-DL，它可以通过结合dMRI和另一种HR成像模式来估计HR组织微观结构。

MSR-q-DL 多模态超分辨q空间深度学习

在得到dMRI扫描的同时，也会得到其他模态的图像，如T1加权图像，由于其高速的成像速度，以至于它们在高空间分辨率下采集。将这些HR information（dMRI scans 中不具有这些信息）结合到HR组织微观结构的估计中可能会提高准确率。

为了方便起见，通过配准和变换将属于同一被试的不同模态的图像被共同配准到同一空间，其中dMRI scans具有LR，而另一模态具有HR（组织微观结构估计的目标分辨率）。

将多模态信息结合到HR组织微观结构估计

通过将对应于相同空间范围的HR模态和扩散信号的LR稀疏（第一个网格模块的输出）表示连接起来，可以将多模态信息结合。

但由于dMRI scans和HR images的分辨率不同（对于patch size为M³的LR稀疏表示，HR模态的patch size为(rM)³），需要首先重新排列HR模态的patches，即将HR模态的patch重新排列为具有r³个channel的M³大小的patch（使得LR和HR的分辨率相同），以便沿着信道级联馈送到第二个网格模块。然而，由于HR模态的信息可能对组织微观结构不敏感，直接级联合并HR信息可能会引入混淆信息，从而导致估计精度的降低。

使用现有的patch-based策略时，input patch中不同位置的信息会同等地用于计算HR组织微观结构，然而不同体素可能对最终的估计有着不同的贡献。因此，文章提出利用来自HR模态的信息作为指导信息（HR模态告知网络哪些体素与HR组织微观结构估计相关），而不是直接提取特征用于组织微观结构估计。

因此，在SR-q-DL的基础上，文章中设计了第三个网络模块，该模块可以①使用HR模态计算每个体素的相关性；②对LR稀疏表示进行加权。这样，第二个网络模块根据加权后的LR稀疏表示计算组织微观结构估计。