将图片通过高通滤波进行锐化处理_信噪比强化和生成对比度的CNN电镜处理方式...

机器人开业第38篇文章

已经在机器人上阅读了28篇文章  

在把电镜数据处理玩出花的道路上越走越远233

摘要：

信噪比SNR和图片对比度对成像很重要，经典的获取低频对比度方法使用高的失焦，或者用低通滤波，会损失高频SNR。本文使用的CNN去噪算法可以用来提高SNR和对比度，定量估计了造成的偏置和重建中的影响，本方法可以做出解析度更好的结果。

介绍：

电镜图来源于重复迭代的叠加和平均，对非常高噪声的2D投影来说。这一过程需要识别颗粒(在亮视野中)，分类，确定方向，叠合及3D建模。成像结果取决于所有频率的信噪比。对比度主要取决于低频信息，受到放射敏感性和样品透明度的影响，也受到CTF的影响。

在这些限制下，电镜图的SNR通常小于1，传统提升方法是提高失焦，更高的失焦变换CTF，低频对比增加，但是高频对比更弱，不利于高清结构，尤其是小型蛋白。或者进行CTF的相差操作，可以不扰动高频信息，如Volta。但还是损失高频信息。新的激光相差可以解决问题，然而还是需要一些补充方法。

本文提供了计算的图像恢复方法，减少噪音，控制SNR，提高对比度。基本想法是串联一个参数化的图像处理器(CNN)作为图像去噪器，训练模型使用noise2noise的多噪声的训练信号，加以现存优化措施的优化。训练结果明显提升了对比度，达到了相差的效果，在信噪比方面也在全频段有效。低频相对真实，但高频引入了偏置，也评估了偏置的影响，并不会影响准确的去噪颗粒的叠合及3D重建。实践使用需要一些对现有软件的调试，但这个结果还是可以用的。

之前的基于noise2noise的结果主要强化了可视化和挑颗粒，这里的定量描述扩展了降噪CNN的应用。

补充图1：本文的网络结构

结果：

训练CNN模型来进行电镜图片去噪

每一个滤波器都进行像素尺度的非线性函数激活。这里的输入和输出对是有/无噪音的图像，注意这些图像要有代表性，才使得CNN能扩展。但要注意由于冷冻样品的辐射敏感性从初始就获得无噪声的图像是不可行的。

近期Lehtinen等证明一对有噪声图片可以取代有/无噪声图片训练去噪CNN，即在第一张噪声图片上使用CNN，并将第二张图和输出之间的差异定义为损失，使得两张图片相近的方式来进行梯度下降。发现所获得的参数类似常规的有/无噪声的训练数据。

此训练方法称为noise2noise，使得在有噪声的时候依然能够学习，训练需要这两种噪声无关，另外，这种训练不做结构信号的假设，甚至有更广义的自监督去噪。

使用DDD，可以获得很多图像，能够在加和图像集合后，获得同样信号但是噪音无关的图像，如在运动矫正后的图像和电子剂量矫正后的图像。因此，用noise2noise,算法不再需要额外的数据收集工作。

注意到这里考虑的噪声是散粒噪声(电子由于波动性的概率在不同位置出现概率不等于实际出现的情况产生的噪声)，不是样品被破坏或者冰层产生的噪声。后者属于可以在计算3D重建时去掉的噪声，但不是去噪CNN的解决范畴。

在电镜上使用去噪CNN

实际上训练noise2noise只需要一堆噪声数据。实践中发现去噪的效果取决于CNN结构和训练流程。使用去噪程序restore，类似U-Net，将一些模块替换成了广义激活网络，并使用深度空间上采样减少人工影响。这些修饰优化了训练损失和输出的质量，相比于标准的U-Net。补充图1表示了完整的CNN模型。

使用部分数据训练网络，使用训练的网络去噪。训练只需要几小时。考虑到数据很多，不太会过拟合。首先进行运动矫正和电子剂量平均，使用MotionCor2，像素设置在1埃，进行CTF修饰。注意到网络需要区别CTF造成的信号变化和噪声，但似乎连CTF矫正的问题一起调整了比较好，因此没有额外设置使CNN的学习和CTF矫正无关。所以在应用CNN之前，对图像进行了相位翻转，即将CTF信号乘以傅里叶变换的结果，再反向变换，因此不必在去噪之前再翻转一次。

考虑超高频信噪比很低，并不想恢复这些信号，因此裁剪了傅里叶空间减少噪音，控制图片，将像素大小大概弄成1.5埃。在训练中使用相位翻转且裁剪的图片到192×192。将方块归一化。

最后的训练使用Adam优化器，权重正则化，noise2noise训练方法很快，大概20-30分钟即可。训练后可以处理所有图像的噪声，处理时不将图片分块。去噪后图片进行傅里叶空间的低通滤波再反向变换，使得图像形状和大小与原先一致，频率与训练数据一致。

在多种电镜数据上造成的对比度增强

在不同大小，形状，图片条件的数据集上测试，对比度明显提升，且和分子形状一致(图1)。

图1 去噪CNN造成的对比度提升。

使用广泛采用的T20S样本理解不同频率上的去噪。使用全部图像训练去噪器，并将解析度用傅里叶裁剪限制在3A，与2A中的原图相比，2B中的去噪图对比明显，且低通滤波没有模糊(2C)。

傅里叶能量谱(2D)和光谱信噪比(SSNR，2E)在去噪后提高了，且不减少高频信息。这不同于普通的低通滤波，低通滤波会抑制高通的数据，且不提高任何位置的SSNR。Thon环位置正确，失焦值和原图类似(2F)，少部分和冰层相关的失焦值产生了较大变化。

图2：傅里叶空间的去噪产生的影响。但注意到B图的频率分布从高斯分布发生了改变。

这些例子证明用noise2noise训练的CNN可以有效提高对比度，也可以促进更好的人工图像评估和颗粒提取。就数据集单独训练的时候，结果与其他降噪方法一致，反映了noise2noise的鲁棒性。

定量评估信号提升和降噪

有一个关于降噪的问题是全频率的信号是否良好保存？或者降噪是否对其他处理估计和挑颗粒之外的内容有效？

使用互相关估计回答这一问题。估计了假信号/偏置加入的程度，基于一对降噪后的图片有着同样的信号和偏置，但是降噪前后只有信号一致，因此可以估计信号、偏置、噪声的方差，从而计算考虑偏置的SNR，作为频率的函数。

在T20S数据集中，信噪比从0.14提升到了8.3，这种提升可能来自于一些噪声变成偏置的结果。定义了信噪偏置比SNBR，即信号方差与噪声+偏置方差的比值，反应真实信号与其他所有部分的比值，对T20S，这个值是1.4，还是表示有了提高。

图3：对信号，噪声和偏置的定量分析

在图3B中分析了随频率的变化，在降噪后，全频率噪声减少，低频区信号明显大于偏置，但高频区类似。

总之，降噪提高了真实信号，但将无关噪音转化为相关的偏置。可能的解释是高频信息在低信噪比图像中和噪声混淆，例如侧链的精确分布可能就被高频信息编码，但是有很多噪声的时候，这样的信号可能有多种可行的解释。所以最好的侧链猜测可能来自于所有解释的平均，这种平均可能不准确，但也不会差的很远。

在这种情况下，低频信息偏置更少，但是高频信息大部分被转移成了偏置。

3D重建

这种偏置在不同颗粒的图像之间相关吗？考虑到角度矫正已知，相关的偏置将会造成人工引入的重建中的特征，但是不相关的偏置会被平均掉。

这种偏置会影响图像叠合，阻碍结构解析吗？为解决这两个问题，实地进行了3D重建。

用无降噪重建到了3.3埃，使用302290个颗粒，cryoSPARC，无对称性(4A，补充图2A)，就算不锐化，侧链密度依然可见。该重建和方向参数被用来定量估计去噪后的重建行为。

补充图2

用同样的颗粒，在去噪图中进行3D重建，使用relion，参数来源于带噪声的图片(4B)，4B表示，这明显缺少了细节信息。尽管解析度达到了3.4埃。一些螺旋解析很好，但是一些完全没有解析出来。去噪后也表现出锐化后更大的B因子，此时侧链相近(4C和4D)。FSC表明去噪图像获得了几乎靠近截断位置的解析度。这也反应了偏置是随机的，大的B因子可能来源于更强的低频信息。总之B 矫正恢复了一部分高频信息，在使用去噪的角度参数后，原图的重建效果更好。误差可能来自偏置或者低频信息的过度估计。

讨论：

去噪CNN提高了图像对比度，最佳目前应用大概是对样品的视觉估计，在大规模收数据之前，以及小而无规则的挑颗粒。定量估计提示低频和中频信号增强，但是高频信号不变。

迭代性的优化造成了几乎正确的高解析度结构重建，小的方向参数错误可以被原图方向的参数矫正。比相位板方法的不可逆性要好。

尽管并未证明，CNN去噪也有着更好鉴定小颗粒的能力，即采样数较少的中间态颗粒，尤其是在中间态以低频信息为区分的情况下，如蛋白区域位置的改变。也许可以在傅里叶空间合并去噪和原图，从而结合去噪的低频信息和原图的高频信息。目前软件无法适当地处理降噪图片也是问题，可能来源于不同频率中降噪图片的巨大区别。

还可以促进颗粒的叠合，无规则颗粒的分离，也对用虚原子方法估计初始模型，测定大分子波动性有利。

一些思考：

1. 听了电镜讲座，感觉随着技术的进步，算法上能造成的提升可能还是有限的，尤其在现在纯技术就可以获得1.8埃解析度的情况下，且CNN在deblurring方面还是可能有令人不信服的bias内容。

2. 但不可否认，简单的CNN应用在目前的生物图像处理领域还确实处于发展状态，比如今天课上听的用CNN重现HE染色的结果。并且这篇文章的bias如果看下来，确实是有限的。

3. 引入的偏置怎么办呢？非高斯分布的话能通过align消去吗？

4. 侧链测量会引入误差的话，其实用这个在高解析度的图像上还不如用原图处理？

5. 可以用这个处理来选择颗粒位置，再用更好的颗粒位置去在原图上保证这些高频信息。或者用于低解析度的模板获得。

第38次文献阅读就到此为止吧~欢迎拍砖哈哈哈