SFG：Unsupervised Histological Image Registration Using Structural Feature Guided CNN

《Unsupervised Histological Image Registration Using Structural Feature Guided Convolutional Neural Network》

基于结构特征引导的卷积神经网络的无监督组织学图像配准

发表于：
IEEE TRANSACTIONS ON MEDICAL IMAGING（2022 Aug 31） IF：11.04；

GitHub：https://github.com/wendy127green/SFG/tree/master/SFG；

keywords： 图像配准 结构特征 无监督学习 密集结构 稀疏结构；

0摘要

【任务】多张染色图像的配准是组织学图像分析中的一项基本任务。

【存在问题】在有监督的方法中，获取具有已知对应关系的ground truth数据既费时又费力。因此，需要无监督的方法。无监督的方法减轻了手工注释的负担，但往往以较差的结果为代价。

【挑战】此外，由于多次染色、（组织学图像的）重复纹理和组织切片制作过程中的切片缺失，组织学图像的配准存在外观差异。

【本文的工作】为了应对这些挑战，我们提出了一种无监督结构特征引导的卷积神经网络（SFG）。结构特征对多重染色具有鲁棒性。低分辨率粗糙结构特征和高分辨率精细结构特征的结合可以分别克服重复纹理和剖面缺失。

【特点】根据结构特征的形成，SFG由结构一致性约束的两个分量组成，即密集结构组件和稀疏结构组件。密集结构组件使用整个图像的结构特征映射作为结构一致性约束，表示局部上下文信息。稀疏结构组件利用自动获得的匹配关键点的距离作为结构一致性约束，因为图像对中的匹配关键点强调重要结构的匹配（全局信息）。

【其他优势】此外，在密集和稀疏结构组件中都采用了多尺度策略，以充分利用低分辨率和高分辨率下的结构信息，克服重复纹理和截面缺失。该方法在公共组织学数据集（ANHIR）上进行了评估。

1背景

【什么是图像配准（Image Registration）】
图像配准就是将不同时间、不同传感器（成像设备）或不同条件下（天候、拍摄角度等）获取的两幅或多幅图像进行匹配、叠加的过程；

【举个例子】

【图像配准的分类】

• 刚性配准（rigid）：
  • 刚性配准主要解决的是简单的图像整体移动（如平移、旋转等）问题；
• 非刚性配准（non-rigid）：
  • 非刚性配准主要解决的是图像的柔性变换问题，它允许变换过程中任意两个像素点之间对应位置关系发生变动；
  • 伸缩，仿射，透射，多项式等一些比较复杂的变换；

【图像配准存在的挑战】

• 1). 由于多次染色，组织学图像出现外观差异；
• 2). 由于组织均匀（homogeneous tissues），组织学图像中存在重复纹理；
• 3). 在处理组织切片时，可能存在切片缺失

图1：组织学图像配准的挑战。与其他医学图像配准相比，组织学图像配准的挑战示例如下：由于多重染色（a）、重复纹理（b）和切片缺失（c）导致的外观变化。
【本文贡献】

• 提出了一种用于非刚性组织学图像配准的无监督结构特征引导的CNN（SFG：Structural Feature Guided）：
  • 密集结构组件（dense structural component）：
    • 计算与染色类型无关的结构特征；
    • 密集结构组件包含整个图像的综合结构特征；
  • 稀疏结构组件（sparse structural component）：
    • 计算匹配关键点之间的距离；
    • 稀疏结构组件强调具有重要结构的区域；
• 利用多尺度策略，充分利用低分辨率和高分辨率下的结构信息，来克服重复纹理和截面缺失的挑战；
• 该算法在ANHIR挑战中排名第一（截止到2022-1-18）；

2方法

【pipeline】

图2：提出了一种用于非刚性图像配准的无监督SFG网络。fixed图像和moving图像是deformation network的输入，形变场（deformation field）是输出。通过增加fixed图像和warped图像之间的结构一致性来优化变形场。结构一致性约束由密集结构分量和稀疏结构分量组成。前者利用像素级特征映射，后者利用SIFT descriptors自动匹配的关键点。因此，需要提取moving图像和fixed图像的密集结构特征和稀疏结构特征。然后利用变形场对moving密集结构特征和moving稀疏结构特征进行变形，得到warped密集结构特征和warped稀疏结构特征。作为损失函数的一部分，计算warped的密集和稀疏结构特征与fixed的密集和稀疏结构特征之间的结构一致性，以更新网络。 注：SIFT，发布在IJCV 2004年。SIFT全称scale invariant feature transform，即是尺寸不变性特征转换。它可以将图像数据转化成与尺寸无关的本地特征。该特征很稳定，图像尺寸、旋转角度、纺射曲折、视角变化、噪音以及光照变化对该特征的影响都比较小。

【baseline 架构】

图3：网络的架构。金字塔结构（由蓝色方框勾勒）用于提取feature map。从第一级到第六级，特征通道（feature channels）的数量分别为16、32、64、96、128和196。在每一层中，moving图像的feature map通过使用相邻更高层的×2上采样（由×）流来变形（由粉色平行四边形勾勒），以获得deformed feature map。计算deformed feature map和fixed image feature map之间的相关性（用紫色圆圈勾勒），并将其发送给optical flow estimator（用绿色三角形勾勒），以估计相应的变形场（deformation field）。最后，根据网络的输出，即第二级的×4上采样（用××表示）流，对moving图像进行warping（用黄色矩形勾勒），以获得warped image。然后计算warped图像和fixed图像之间的相似性（由红色菱形勾勒），作为损失函数的主要部分。
网络架构的超参数见表一

【baseline 损失函数】

【密集结构组件 结构feature maps】

• 密集结构组件利用了一对图像的像素级结构特征映射之间的相似性；
• SIFT descriptors Scale invariant feature transform（2004）；
• 每个像素的邻域被划分为一个4×4单元阵列，每个单元的方向被量化为8个bins。然后获得128（844）维向量作为每个像素的SIFT表示；

【密集结构组件 结构特征可视化】

【密集结构组件 多尺度策略】

图4：密集结构特征图的插图。（a）梯度图像。（b）结构特征图的前三个主要组成部分。颜色相似的像素意味着它们具有相似的局部图像结构。（c）多尺度结构特征图的前三个主要组成部分。一个像素在不同尺度下的结构特征描述符描述了不同大小的邻域。

【密集结构组件 约束条件】

【稀疏结构组件 自动提取关键点】

图5：循环匹配和搜索区域限制。如果匹配的关键点是搜索区域（绿圈和黄圈）中彼此的最佳匹配点（黄点和绿点），则选择匹配的关键点。搜索区域以关键点的坐标为中心。红点是自动提取的关键点。

【稀疏结构组件 多尺度策略】

• 为了改进单尺度匹配算法，我们采用了多尺度结构相似性匹配算法（简称多尺度匹配算法）；
• 在多尺度匹配算法中，每个尺度上的结构相似性都被赋予相应的权重；

【稀疏结构组件 约束条件】

【SFG 损失函数】

3实验

【实验 数据集】

• 该数据集共包括49组图像，每组3到9张图像；
• 图像对的总数分别为481对：230对用于训练，251对用于评估；

【实验 评价指标】

【实验细节 预处理】

• 将RGB图像转换为灰度图；
• 为了保留细胞位置等详细的结构信息，使用核大小为7的Sobel descriptor获得梯度图像；
• 在使用核大小为5的中值滤波器进行平滑后，对梯度图像进行填充和下采样，作为网络的输入图像；
• 仿射配准（affine registration）使用递归级联网络（ICCV：2019）中引入的仿射配准网络执行；
• 在我们的研究中，输入图像的大小为512×512像素，除非特别提及。

【实验细节 预训练】

• 使用了一个大型合成数据集FlyingChair对网络进行了预训练；

【实验细节 比较】

【实验细节 网络设置】

【实验结果 与最新方法比较】

【实验结果 不同组织的比较】

【实验结果 与监督学习对比】

图6：不同方法在三个典型样本上的表现：（a）不同的染色，（b）重复的纹理，（c）切片缺失。与baseline法相比，监督baseline法、监督SFG法、SFG法、D-SFG法和S-SFG法都有改进。除监督SFG外，SFG的性能最好，但SFG的结果与监督SFG的结果接近。红点指的是fixed图像中的特定结构。蓝色点表示moving图像（第2列）或warped图像（第3至8列）中的相应结构。红色点和相应的蓝色点越近，配准越好。右下角的数字是相应整张图像上的平均rTREs。

【实验结果 平滑度度量】

【实验结果 消融实验 S-SFG D-SFG的影响】

【实验结果 多尺度】

图10：对不同染色（a）、重复纹理（b）和缺失切片（c）的典型样本进行多尺度和单尺度策略的比较。红点指的是固定图像中的特定结构。蓝色点表示运动图像（第2列）或扭曲图像（第3-8列）中的相应结构。红色点和相应的蓝色点越近，配准越好。右下角的数字是相应样本的平均RTRE。多尺度SFG在所有三个样本上的性能都优于单尺度SFG。

【实验结果 不同损失函数的结果】

【实验结果 图像大小的影响】

【实验结果 感受野的影响】

【实验结果 不同大小patch的影响】

图11：在三个patch大小分别为256×256（a）、512×512（b）和1024×1024像素（c）的基于patch的数据集上，所有提出的方法和基线的性能。红点指的是固定图像中的特定结构。蓝色点表示运动图像（第2列）或扭曲图像（第3-8列）中的相应结构。红色点和相应的蓝色点越近，配准越好。这些数字是相应整张图像上的平均RTRE。

【实验结果 SFG的AArTRE和AMrTRE相对较高的原因】

• 本文的SFG实现了最佳MMrTRE和MArTRE，但没有达到最佳AArTRE和AMrTRE；
• AArTRE和AMrTRE在case-level验证了潜在的异常值；

图12：SFG在具有撕裂区域的图像对上的性能。（a） SFG未能配准极度撕裂的区域。（b） 当撕裂区相对较小时，SFG表现良好。红点指的是固定图像中的特定结构。蓝色点表示运动图像（第2列）或扭曲图像（第3-8列）中的相应结构。红色点和相应的蓝色点越近，配准越好。右下角的数字是相应样本的平均RTRE。

4结论

【结论】

• 在本文中，提出了一种无监督的结构特征引导CNN（SFG），用于多张染色组织学图像的非刚性配准。与监督算法相比，该算法在不需要任何其他人工标注数据的情况下，能很好地处理图像配准任务；
• SFG包含两个组件，以无监督的方式约束fixed图像和warped图像之间的结构一致性，即密集结构组件和稀疏结构组件；
• 实验是在公共组织学数据集上使用基于图像和基于patch的配准进行的。基于图像的实验表明，本文提出的方法SFG可以处理全尺度的图像配准任务。
• 然而，由于结构特征严重受损，SFG无法对具有极度撕裂区域的图像进行配准（缺点）。