【论文阅读 | cryoET】Gum-Net：快速准确的3D Subtomo图像对齐和平均的无监督几何匹配

吃吃今天努力学习了吗

已于 2022-04-25 09:15:58 修改

阅读量3.2k

点赞数

分类专栏：冷冻电镜三维重建论文笔记文章标签： cryoET

于 2022-04-21 12:14:26 首次发布

本文链接：https://blog.csdn.net/m0_38068229/article/details/124252702

版权

34 篇文章 2 订阅

订阅专栏

31 篇文章 102 订阅

订阅专栏

Gum-Net: Unsupervised Geometric Matching for Fast and Accurate 3D Subtomogram Image Alignment and Averaging

Xiangrui Zeng, Min Xu

CVPR 2020

本文是第一个用于强变换变化和高噪声水平图像的三维无监督几何匹配方法。

三个创新模块:

观察到标准深度特征提取过程中的最大池化和平均池化操作都寻求局部变换不变性，这不适合进行精确的集合匹配，因为在特征提取过程中需要很大程度上保留特征空间位置。因此，本文引入了一个特征提取模块，该模块包含了池化和滤波在内的光谱操作，以保持提取特征的空间位置。
提出了一种新的孪生匹配模块，通过并行处理两个特征相关映射来改善空间相关信息的传播。
在对齐模块中加入了一个改进的空间transformer网络，该网络具有可微的缺失楔插补策略。通过输入随机配对的子层析图，而不考虑它们的结构类信息，从而实现了完全无监督训练。因此和其他弱监督的集合匹配方法相比不需要实例级或类别级的匹配信息等监督信息。

在这里插入图片描述

Feature extraction module
Siamese matching module
为了更好地利用和处理特征相关信息，设计了一个孪生相关层。计算Cab和Cba两个相关图。它们各自保留一个输入特征图的空间坐标。两个相关映射的使用传播了更多的特征空间相关信息，用于变换参数的估计。
两张相关图被输入一个有卷积层组成的伪孪生网络，然后分别进行卷积，然后将其拼接成一个全连接层，在另一个全连接层后，孪生匹配模块输出估计的刚体变换参数（6D）。
Unsupervised geometric alignment module
因为准备有监督的数据非常耗时，所以更适合无监督。
于是本文提出了一个无监督的几何配准模块，利用空间transformer网络和光谱数据输入，专门为子断层图数据设计。
表示由三维刚体变换参数生成的变换矩阵为：（ $x^t_i, y^t_i, z^t_i$ )是目标坐标，（ $x^s_i, y^s_i, z^s_i$ )是源坐标。 $\theta_{11},...,\theta_{33}$ 代表旋转变换， $\theta_{14},...,\theta_{34}$ 代表平移变换。

真实数据集(6个) + 模拟数据集(9个)
在模拟数据集上，通过将估计的变换参数和GT进行比较，评价配准的精度；包括旋转损失和平移损失，都是用的欧氏距离来度量。
在真实数据集上，通过使用本文方法和用baseline方法计算得到的相互关系进行评估，作为配准精度的间接指标。
模拟数据使用的方法，考虑了缺失楔和CTF的tomogram重建过程。选择了五种典型的大分子复合物的数据集，都是不对称的，来保证结果的唯一性。模拟了一个干净的数据集和4个SNR不同条件的数据集。每个数据集由每种结构的2100个子断层图对组成（共10500对）。每个数据集的5000个对用于训练，500个用于验证。剩下的5000个用来测试。对于一对子断层图，一个结构是另一个结构的随机变换副本，两个结构分别进行独立处理，以获得其层析图像失真。其中一个有缺失楔（30°）而另一个没有。

对比的方法（baseline）：

消融实验：

除了对比了alignment的结果，还进一步做了平均的对比实验。（非参数无参考自断层平均）

$A u t h o r : 在调研新方向的 c h i e r$

关注