【学习笔记】VoxelMorph 进行的实验与总结

实验设置：

1.数据集：使用八个公开数据集的T1加权值MRI图像（ OASIS ，ABIDE，ADHD200， MCIC，PPMI ， HABS，Harvard
GSP，FreeSurfer Buckner40），所有图像被重采样为256×256×256大小，且单位体素为1mm各向同性（我理解为是边长为1mm的正方体体素），之后进行仿射空间标准化，修改尺寸为160×192×224大小，所有MRI图像使用 FreeSurfer软件进行解剖分割，并使用视觉检查分割与仿射变换的总误差，最终得到30个至少包含100个体素的解剖结构。使用得到的分割结果检验设计的网络结构。
训练集：验证集：测试集分别为3231：250：250。
2.评价指标：Dice系数比较结构预测的的正确性，雅可比行列式获得形变场的局部特性。
3.基线方法（Baseline Methods）：使用ANTs软件包（高级标准化工具）中的对称归一化（SyN）作为第一个基线，使SyN具有交叉关联的相似性度量，使用跨数据集扫描获得的改进参数代替ANTs的默认参数。SyN步长为0.25，高斯参数（9，0.2），三个维度最多迭代201次。还额外添加了NiftyReg作为基线的方法。

Atlas-based Registration 基于地图集的配准

atlas数据集是通过联合和反复校准MRI图像数据集并将它们平均在一起来构建，fixed图像是单幅图像。
不同方法的结果对比
结果显示，对于雅可比行列式非正的体素，所有方法都会使其形变场产生小岛现象，但是绝大多数的体素的形变都是微分同胚的。VoxelMorph对微分同胚没有明确的约束，是平滑损失产生平滑形变场表现良好的结果。另外两种方法虽然对微分同胚有所要求（enforce or strongly encourage）但是结果并没有预料的那么好甚至有负面影响。对比Dice系数，发现VoexlMorph达到甚至超过另外两种方法。计算时间更是极大缩短了，尤其实在CPU上的时间。
不同方法及不同部位的Dice系数

正则化分析（超参数敏感性分析）

使用不同的正则化参数λ进行实验

如图，显示了平滑正则化参数λ的不同值的验证集的平均Dice系数。在很大的λ值范围内平滑地变化，说明VoexlMorph对λ的选择具有较好的鲁棒性。即使设置λ=0，不对配准进行强制正则化，结果也比仿射配准（0.586）好。作者分析认为可能是因为在训练时网络需要尽可能的配准每一对图像，从而使变换函数生成了针对数据集的隐式正则化。

训练集大小和特例优化

使用MSE的方法，分别计算在不同数据量大小的训练集、保留的测试集和进行特例优化的测试集上的Dice系数。

由结果图可知，当数据量较小时，没有明显提升，当数据量提升后Dice系数明显提升直至可与最先进技术媲美，但是进一步提升数据量也不会提升Dice系数了。

手动解剖描述（人工分割标签）

使用基于地图集的训练网络测试Buckner40数据集中39幅图像，还设置了特例优化运算。

通过特例优化的Dice系数明显提升。

不同主体的MRI图像配准

优于配准中存在多变性，将网络层的特征数量增加一倍，在250对随即挑选的配准对上测试。

×2表示双统计特征（特征数加倍），互相关CC比均方误差MSE得到的结果更加稳定。

使用辅助数据配准

使用MSE参数λ=0.02，并在两种实际情况下进行评估：
1.训练时使用解剖分割子标签；
2.训练时使用粗标签；
实验如下：
a. 使用解剖学标签的子集进行训练

γ表示正则化参数，横坐标为负无穷时表示完全是非监督学习，没有标签；当横坐标为正无穷时表示使用辅助标签值进行训练学习
obs可以理解为有标签结构，unobs为无标签的结构。前两列表明未标注子标签的Dice系数有所提升，第三列表明标注标签时，γ较大时也有较好的结果，这时未标注结构的配准精度有所下降范围在log γ ∈ [−3, −2]，这可以解释模型过拟合，提高了的Dice系数却损害了其他未标注的结构配准精度。
b. 粗标签培训
eg：将所有白色组织标注为一个解剖结构。这种情况可以评估粗标签与更精确辅助数据的关系，上图第四列（上）表明了实验结果，log γ =-2时，结果比不适用辅助信息的Dice系数多了3个Dice点的改进
c. 变换的规律性

通过雅可比行列式非正体素评估形变场的正则性，该表表现了所有的γ的定量规律性测量，VoexlMorph变形规律随着γ的增加而缓慢下降（在对数γ层面）当γ为0.1时，大约有0.2%的体素表现出折叠（形变场变得紊乱，正常情况下是一个方框），最多有2.3%。在γ=∞时会有10-13%的折叠体素，综合Dice系数与折叠情况，当γ=0.01时，效果较好，形变场的形变不那么紊乱大致还在方框内。
d. 人工标注数据集测试
在Buckner40数据集上测试，结果如实验a第四列（下），Dice系数提高较小，可能是由于Buckner40数据的基线Dice系数较高。

总结

VoxelMorph使用无监督损失性能在Dice系数方面达到较高水平，并且大幅降低训练时间，可以使用辅助信息和粗标签信息改进网络性能；使用均摊优化（全局优化）可以在较小训练集上得到较好效果；特例优化对实验结果有小幅增强；关于γ的实验证明了性能增益根据可用的解剖分割的质量和数量而变化，仅使用单一的结构标签不会影响其他结构的配准，一半/全部甚至是粗标签会提升其他结构的配准精度，还可以使用其他辅助方法进行增强。eg：不同模态或解剖点。
VoxelMorph具有普适性不局限于一种问题，使用不同的损失函数以应对不同的具体问题。可以使用MI进行多模态配准。

本文章为学习笔记如有侵权联系本人删除！