【论文阅读|cryoET】Missing Wedge Completion via Unsupervised Learning with Coordinate Networks

题目

第一作者：Dave Van Veen，斯坦福大学

摘要

CryoET 是结构生物学中的强大工具，能够以纳米分辨率对生物样本进行详细的3D成像。虽然这项技术很有潜力，但是cryoET仍面临诸如缺失楔问题等挑战，该问题由于数据收集角度不完整而限制了重建质量。最近，利用CNNs的监督深度学习方法在很大程度上解决了这个问题。然而，它们的预训练要求使得它们容易受到重建不准确和存在伪影的影响，特别是在代表性训练数据稀缺的情况下。
为了克服这些限制，本文引入了一种使用坐标网络（CN）的概念验证无监督学习方法，该方法可以直接针对输入投影优化网络权重。这消除了预训练的需要，和监督方法相比，将重建运行时间减少了3-20倍。
计算机模拟结果显示，通过实空间中几个基于体素的图像质量指标和新颖的方向傅里叶壳相关（FSC）指标进行评估，形状完整度得到改善并减少了缺失的楔形伪影。本文研究阐明了监督和无监督方法的好处和考虑因素，指导改进策略的开发。

简介

冷冻电子显微镜的最新进展已将其从一项专门技术提升为结构生物学和分子科学的基石。cryoET是cryoEM的延伸，以纳米级分辨率提供接近自然环境状态的大分子、细胞和组织的详细三维表示。该技术应用广泛，可以在体外（in vitro）和原位（in situ）研究各种大分子复合物。cryoET还可以探究其他临床相关样品的结构，范围从单个细胞器和细胞到复杂的组织切片。cryoET数据分析的结果可以帮助理解病毒感染等动态分子过程，实现病理诊断，并揭示潜在治疗干预措施的影响以及其他生物医学应用。一种关键的下游技术，子断层扫描平均（STA）进一步细化冷冻电子扫描数据，以实现断层扫描中重复结构的亚纳米到近原子分辨率，强调了精确的cryoET重建对于精确的颗粒定位和结构分析的重要性。

cryoET涉及到快速冷冻生物样本，然后用透射电子显微镜进行检查。此过程需要捕获一系列样本逐渐倾斜的二维投影图像，形成所谓的倾斜序列。然后，通常通过加权反投影（WBP）方法对这些图像进行对齐和组合，以生成3D重建或断层图像，如IMOD等软件所支持的功能。尽管cryoET能够捕获复杂的结构细节，但是该技术受到样本对辐射损伤的敏感性和TEM固有的机械限制（倾斜序列限制在-60到60度之间）的限制，导致了缺失楔现象。这会影响可视化特征的分辨率和密度精度，从而使3D分析变得复杂。这种扭曲对于垂直于电子束的结构来说尤其成问题，通常导致球形、椭圆形或细长生物也图像中关键的顶部和底部细节的遗漏。

减轻缺失楔影响的工作包括引入新的数据收集技术，例如双轴和锥型断层扫描，到统计和迭代数据处理方法的新颖应用，包括总变分最小化和压缩感知。在监督深度学习领域，IsoNet通过采用卷积神经网络（CNN）U-Net获得很好的效果，该网络训练使用的子断层图是从WBP重建的层析图中提取出来的，额外添加缺失楔形伪影来创建成对训练集。

IsoNet和其他监督方法一起，在解决缺失楔问题方面取得了巨大成功。然而这些数据驱动的方法面临局限性：首先需要计算密集型的监督预训练，其次它们依赖于已经表示出缺失楔伪影的WBP重建，第三是监督学习技术很容易在重建过程中生成虚构的密度和不准确的定位结构，训练数据有限时问题会加剧。

本文探索了一种新的无监督学习策略，绕过了和监督学习相关的限制以及对容易出现伪影的WBP重建的依赖。我们的方法从随机初始化的网络开始优化其权重，使生成的图像与实验捕获的投影一致，从而避免了使用带缺失楔的WBP重建结果进行预训练。我们采用坐标网络（CN）来重建断层图像的无监督表示。CN通过将重建体积中的3D体素值和投影图像中相应的2D像素相关联来确定重建体中的3D体素值。与传统的基于kernel的CNN方法不同，CN通过网络嵌入的连续函数将坐标映射到相应的值来提供连续表示，使得CN能够捕获图像细节，而不受固定网格分辨率的限制。鉴于CN在计算机图形学中计算密集型任务中的应用不断增长并在各种生物医学成像应用中展现出潜力，CN提供了一种强大的解决方案，可以准确地表示大量的冷冻电子显微镜体积，解决高计算成本和CNN相关的固定分辨率限制。

我们的研究表明，和传统方法以及基于CNN的方法相比，CN的无监督学习可以增强形状保真度并减少缺失楔对模拟数据的影响。此外，绕过预训练步骤使得CN的重建速度比预训练的CNN方法块3-20倍。为了严格评估图像质量，我们采用了各种基于体素的指标，并引入了一种新颖的方向FSC指标。这个新指标专门用于量化受缺失楔影响的区域内的信息恢复情况。

尽管本文的发现凸显了无监督学习在cryoET重建中的某些优势，但是这些结果仅为初步发现，并非旨在确定其优越性。相反，我们将传统的WBP和傅里叶逆变换重建和监督、无监督的机器学习框架进行比较，揭示它们在更广泛的结构生物学和分子成像背景下的各自优势和局限性。通过这种比较，旨在为cryoET重建技术的持续讨论贡献见解。

方法

Forward Model

${\mathbf{v}}^{\ast }\in R^{x\times y\times z}$ 是我们希望在投影 $\mathbf{p}\in R^{l\times x\times y}$ 下重建的真实图像体积，也就是$\mathbf{p}=\mathbf{P}{\mathbf{v}}^{\ast }$。这里 $\mathbf{P}$ 表示投影算子，它将平行电子束以 $l$ 个不同的倾斜角投影通过体积。一共有$l$张投影，每张大小是$x\times y$。

重建算法

采用具有可训练参数 $\theta$ 的CN 网络：$G_{\theta }:R^3\to R$，将重建体积中的单个3D坐标 $c\in R^3$ 映射到 2D 投影图像中相应位置处的像素值。在整个坐标集 C = { c q } x × y × z C=\{ c_q\}^{x\times y\times z} C={cq​}x×y×z 上评估该网络会产生重建体积 $G_{\theta }(C)\in R^{x\times y\times z}$。

我们的目标是找到 CN 的一组参数，使其重投影（应用于网络输出的投影，即 $\mathbf{P}{G}_{\theta }(C)$）和实验给定的投影 $\mathbf{p}$ 匹配。因此我们随机初始化参数 $\theta$ 并求解以下问题：

$${\theta }^{\ast }=argmi{n}_{\theta }||\mathbf{p}-\mathbf{P}{G}_{\theta }(\mathbf{C})||+\lambda R(G_{\theta }(\mathbf{C}))$$

其中 R 是应用与估计图像的正则化项。因为投影算子P是可谓的，因此可以使用基于梯度的反向传播来求解该方程。图2描述了这个训练过程。然后生成的网络产生 $\hat{\mathbf{v}}$ 是我们希望重建的图像体积的估计，即 ${\mathbf{v}}^{\ast }\approx \hat{\mathbf{v}}=G_{{\theta }^{\ast }}(\mathbf{C})$。

本文方法的独特性在于采用无监督的方法，从而消除了预训练的必要性。与依赖于数据增强策略监督的预训练策略相反，本文通过直接使用实验投影图像来细化网络参数。这种直接优化方法有效地规避了监督学习的常见陷阱，包括某些类型的伪影生成和结构不准确的倾向。事实上，我们的方法利用了更可靠的数据，也就是实验投影图像本身，避免了通常用作监督方法起点的WBP重建。通过确保重建的重投影和原始投影之间更加一致，本文方法从本质上减少了引入伪影或偏差的可能性。

数据

使用的是模拟数据，从而通过定量的、基于参考的指标进行精确评估。断层图是使用 EMAN2 中提供的图像处理工具创建的，其相应的倾斜序列使用过使用EMAN2的标准投影方法在-60到60度之间以2度的间隔进行投影生成的。数据集情况如下：

1. Spheres (1024 1024 256)：密度恒定、尺寸可变的二值化空心球体的集合。z 较小的尺寸呈现板状体积，在集合上模仿薄冰层中离散物体的分布。
2. Mixed shapes (1024 1024 256)：具有异质结构的各种几何形状。
3. P22 (360 360 360)：单个的P22噬菌体颗粒。EMD-9008，采样率是4.5埃每像素。
4. Ubiquitin (64 64 64)：调节蛋白。PDB 1UBQ。

对于最终处理步骤，每个模拟断层图（除了Ubiquitin）均经过低通滤波，以使渲染形状表面平滑，或者抑制在未经平均的原始断层图中不会出现的高分辨率特征（P22，Ubiquitin）。最后每个倾斜序列的投影图像进行归一化作为网络的输入。

实验设置

为了找到 一组使方程1最小化的权重$\theta$，我们用pytorch构建了一个全连接的坐标网络架构。该网络有4个hidden layers，每层256 features，位置编码和正弦激活函数。为了简单起见，我们在所有数据集上采用相同的架构，并保持网络参数和测量值的一致比率（大概1/8），这种一致性是通过将倾斜序列 $\mathbf{p}\in R^{l\times x\times y}$ 沿 y 轴划分为长度为 j 的子切片来实现的，$\mathbf{p}\in R^{l\times x\times j}$。在图像空间中，这对应于子体积 ${\mathbf{v}}^{\ast }\in R^{x\times j\times z}$。然后，我们拟定一组单独的网络参数来表示每个子体积。例如，给定上述网络具有 4256256 = 262,144 个参数和尺寸为 10241024256 的断层图，获得1/8 比率将产生 128 个网络，每个网络拟合一个大小为 10248256 的子体积。然后我们沿着y轴将这些子体积拼接起来得到最后的重建体积。

给定足够的内存、更稀疏的表示或更小的体积，我们可以用一个网络重建整个体积，如图A4所示。然而，我们的子体积方法有以下几个优点：

1. 它确保网络对任何断层图像都有足够的表达能力；
2. 使用少量内存——在我们的 NVIDIA Quadro RTX 8000 上大约为 2-4 GB —— 使得在较小的 GPU 上可行；
3. 让我们可以利用学习到的初始化，即在将网络拟合到一个子体积之后，使用这些相同的参数来初始化相邻子体积的网络。这种学习的初始化策略通过增强y方向的一致性并减少网络拟合子体积所需的梯度步迭代次数来提高重建质量。因此，我们使用2000次迭代来拟合第一个子体积，并使用400次迭代来拟合利用学习初始化的所有相邻子体积。

Baselines

三个基线：

1. 通过 IMOD 生成的 WBP 重建
2. 通过 EMAN2 生成的傅里叶反演重建
3. 通过 IsoNet 生成的缺失楔恢复的重建（IMOD重建结果作为输入进行监督训练）
   这里选用IsoNet是因为它被广泛认为是缺失楔块恢复的先进方法，由于ICON或MBIR等方法。
   对于每种重建方法使用默认参数。

图像评估

为了对这些重建中跨频率的信号保留进行全面评估，我们采用了结构生物学中常见的FSC度量，以及计算成像文件中基于体素的度量。所有的指标都是基于参考的，将重建图像 $\hat{\mathbf{v}}$ 和真实图像 ${\mathbf{v}}^{\ast }$ 进行比较。对于每个指标，较高的值表示较高的质量。

1. 定向傅里叶壳相关系数（Directional FSC）

FSC 测量重建图像体积的傅里叶系数和其GT参考的傅里叶系数之间的相似性，该测量是通过在傅里叶空间中选择特定半径并识别和该半径相对应的距离球体表面半单位距离内的点来执行的。这些识别的点有助于计算归一化 Pearson 相关系数。该系数是在不减去平均值的情况下计算的。该步骤涉及将傅里叶半径从一个单位逐渐调整到 Nyquist 频率，在每一步计算 Pearson 相关性以评估不同空间频率之间的相关性。

我们首先在整个重建体积上采用了传统的FSC度量。此外，我们引入了一种定向的FSC变体，专门为评估缺失楔区域而设计。这种创新方法旨在直接强调重建算法在补偿缺失楔上的有效性。我们将“当前数据”区域定义为距离由已获取的$l$投影方向定义的任何平面半单位距离内的区域，有效地为每个倾斜角度定义了一个平板；“缺失数据”区域对应于当前数据的补集。虽然在这个几何框架内进行数据插值的替代方法是可能的，但是FSC通常在这些计算中展现出平滑的轮廓，因此我们预期使用不同的插值策略会得到相似的结果。

2. 体素相关评估

使用了三个指标评估图像质量的不同方面。

1. PSNR
   峰值信噪比量化信号的最大可能功率和影响其表示的破坏噪声功率之间的比率。PSNR 以分贝为单位，源自重建图像与其真实图像之间的均方误差（MSE）。
2. SSIM
   结构相似性指数（SSIM）通过评估结构（纹理和图案一致性）、亮度（亮度级别）和对比度（体素方差）等方面来衡量感知图像质量。SSIM 值范围从-1到1，1表示完全相似。和PSNR相比，SSIM提供了更细致的图像质量评估，和人类视觉感知紧密结合。
3. VIF （Visual Information Fidelity）
   视觉信息保真度 量化重建图像捕获与人类视觉系统（HVS）相对应的自然场景统计数据的程度。它测量重建体积和参考体积的输入和输出之间的相互信息（MI）。该度量的值在0到1（重建体积有所模糊），1（相等），或大于1（重建体积提供了增强的对比度而不添加噪声）。该指标最好地捕捉图像的高频分量之间的相似性。在磁共振成像等环境中，VIF 已证明符合放射科医生的偏好。
   

结果

图3显示了球体和形状数据集的xz平面重投影，以及P22体积的全部范围。所有正交重投影都显示在图A1，A2，A3中。其中xz投影由于显示目的而被修剪大小。由于各向异性分辨率导致的缺失楔伪影，在xy平面上表现为延伸条纹，在yz投影中沿z轴模糊。在各种方法中，IMOD和EMAN2的重建最明显地展现了这些伪影。通过IsoNet可以大大减少这些伪影，在使用本文方法重建的情况下最不明显。

现在考虑形状表示的准确性。对于球体数据集，IMOD和EMAN2都不准确地显现出沿z轴拉长的椭圆形轮廓。对于P22数据集，这些方法在z轴上无法实现颗粒边缘的预期锐化。在所有数据集中IsoNet大大减少了这种失真。与此同时，本文的CN重建保持了和GT最接近的形状保真度，比IsoNet减少了更多的失真。

图3显示了IsoNet以平铺（球体、形状）的形式和我们的方法以高频条纹（球体）的形式的高频重建伪影。尽管如此，IsoNet和本文方法都能在低频和中频下保持整体形状保真度，这和高分辨率STA应用之外的cryoET最为相关。第四章会详细讨论这些伪影。

为了定量评估重建质量，我们使用了几个基于体素的指标和FSC（图4）。我们的技术在评估较低频率性能的PSNR和评估结构完整性的SSIM方面由于其他技术。然而，IsoNet在VIF方面优于我们的方法，这表明在所检查的三个数据集中的两个数据集中具有更高的频率精度。这一观察结果和FSC分析一致，这表明我们的方法在较低频率下具有卓越的性能，而在较高频率下则表现不佳。和IMOD和EMAN2相比，缺失楔区域的FSC曲线凸显了我们的方法和IsoNet在补偿缺失楔信息方面的熟练程度。

为了进一步测试不同方法的稳健性，我们通过改变两个关键参数：角度步长和角度范围，从P22的一个断层图像生成交替倾斜序列。
cryoET数据收集通常对细胞等大型连续样本采样1-2°的较小倾斜步长，而对于稀疏样本，例如要进行STA的溶液中的大分子采用3-5°或更大的倾斜步长。同样，对于高分辨率STA，数据采集范围可以小于[-60°,+60°]，因为高倾斜图像可能噪声太大，并会累积辐射剂量损坏。图5 显示了这两个关键参数对各重建方法性能的影响。我们的研究结果证实了我们的方法对不同采集参数的适应性，强调了我们的方法在需要不同或非标准数据收集参数的独特应用中的潜在效用。

讨论

本文的CN重建方法在低频范围内表现出优越的性能（如图4），这一特点和以往对于其低频谱偏差而闻名的无监督学习方法的观察结果一致。这对于需要形状完整性的cryoET任务（例如特征分割和粒子拾取）可能是有利的，但是由于缺失楔引起的分辨率各向异性，这在典型的冷冻电子断层扫描中可能具有挑战性，速度缓慢且不一致。在较高频率下，我们的方法的性能比 IMOD 和 IsoNet 差。这表明我们的方法可能不适用于高分辨率应用，例如在单颗粒分析中完成度对具有择优去向的大分子复合物的缺失楔补全。对于这个问题以及提出了很多实验和算法。不同方法在不同频率范围内表现更好这一现象促使我们考虑采用集成方法来实现未来的进步，有可能将我们的无监督模型在低频方面的优势和IsoNet在高频细节方面的优势相结合，来提供更均匀的高质量重建。

不同频率范围内的不同性能也强调了定制评估指标的关键作用，例如我们创新地使用定向FSC来评估缺失数据区域中的信息。这一具体评估强调了我们的神经网络方法和IsoNet方法在补偿缺失楔方面的优势。由于没有单一的重建方法在所有频率或样本上都表现最佳，因此选择不同的测试数据集和评估指标对于重建方法的全面评估非常重要。

直接使用真实投影图绕过了IsoNet用于训练的WBP图像引入的初始失真，我们假设这可以提高断层图像中原始形状的保真度，如图3中我们的球形结果和IsoNet的椭球体趋势以及我们在低频和结构相似性方面的优秀表现所证明的那样。这也解释了我们重建方法中的trade-off，如图5。本文方法对投影的依赖意味着角度步长和范围的变化会直接改变我们处理的信息量。有趣的是，当我们将步长减小到1°（表面上增加了可用信息）时，性能却意外下降了。这可能是因为我们的网络容量在整个实验中保持不变，尽管随着步长的减少，处理的投影数量不断增加，也就是网络容量可能已超出。

这一观察结果促使我们决定根据断层图像的尺寸和可用投影的数量动态调整网络大小。这种适用性确保了网络的表征能力（本质上是网络参数和断层图像大小的比率）保持一致。这种一致性有利于在不同大小和复杂性的重建中实现统一的质量。此外，运行时间和断层图像的大小成比例。相比之下，IsoNet在这些数据集上表现出相对同一的运行时间，凸显了本文方法的根本区别。

我们的方法调整网络大小的能力允许根据可用硬件定制重建规模。原则上，将断层图像划分成相邻的子体积以满足GPU的内存限制也允许并行化以获得未来的速度增益。然而这种优势并非没有挑战。它可能导致沿y轴出现条纹伪影，这种现象在图3所示的球体重建中可以观察到。但是，这种伪影的出现并不是CN方法所固有的，就像图A4中的小调节蛋白泛素进行的实验所证明的，这表明当采用单个网络重建整个体积时，这些伪影消失了。但由于硬件的内存限制，这种但网络方法目前对于球体和几何形状模拟等较大的数据集并不可行。未来的硬件发展或并行化可以缓解整个问题。另外，未来的算法改进可以使用高斯泼溅或者高斯混合模型等策略更有效地表示大量数据，如SPA冷冻电镜所证明的那样。

IsoNet 还解决了3D CNN固有的计算限制，导致重建中出现平铺伪影。这些伪影源于将训练集划分成了3D子断层块，这种方法上的限制强调了cryoET重建中的共同挑战：平衡计算可行性与计算无伪影、高保真重建的目标。

虽然我们的仿真结果很有希望，但是真实数据的应用仍在开发中，为未来的研究提供了思路。真实数据集引入了噪声和CTF等复杂性，需要先进的无监督学习技术来实现有效的噪声管理和图像增强。事实上，由于倾斜序列中存在散焦梯度，因此在cryoET数据集里校正CTF非常具有挑战性。随着标本厚度、倾斜角度和视野的增加，这种情况会恶化。例如在较低的放大倍数下查看。CTF引起的伪影通常会限制大分子和生物样本可视化的分辨率，并根据固体物体的形状、大小和散焦量人为地赋予固体物体中空的外观。此外，IsoNet的综合图像处理流程（包括重建前的预处理步骤，例如CTF反卷积和掩码）强调了在重建方法之间进行客观、整体比较的挑战。在这里，我们重点描述无监督及其学习方法的性能并评估和监督机器学习方法的权衡。

鉴于cryoET的应用日益普及，我们预计增强cryoET重建效果的AI发展将成为一个日益活跃和有影响力的研究领域。

---

$$Author:Chier$$