Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes文献阅读
文章主要内容:
本文应用深度学习的方法对显微图像去噪,主要针对于结构光照明显微成像(SIM)和LLSM两种显微成像技术的9张原始图像,在低噪声的情况下恢复的超分辨SR图像受限,所以提出了一个名为rDL的深度学习网络模型,用于曝光时间短噪声大的显微图像的去噪。
rDL模型的图示如下:
网络分析:
数据需求:输入9张原始的噪声图像(Nosiy raw images),高信噪比的9张GT图像(Ground truth raw images),成像系统的PSF,以及高信噪比的SIM成像时所对应的结构光(SI)照明样式
rDL网络主要由三个残差网络结构的分支组成,分别称为PFE分支,MPE分支,FCD分支。
- PFE分支:输入为9张噪声原始图像,通过PFE网络提取处原始图像的特征。
- MPE分支:9张原始噪声图像,通过超分辨网络(DFCAN)生成SR图像,SR图像叠加SIM成像时所用的9个不同的结构光(SI)照明样式,分别叠加9次,再与系统的PSF进行卷积,得到9张信噪比有所提升的处理图像,将其作为MPE分支的输入,通过MPE网络提取照明样式的特征。
- FCD分支:用于特征合并和去噪,将PFE分支与MPE分支分别提取出来的图像特征做一个合并,作为FCD分支的输入,网络传播进行最终去噪,输出9张rDL去噪后的图像结果,与高信噪比的9张GT图像比较,再将误差传播回去,进一步训练这三个分支中的神经网络的参数,直到训练完成。
rDL去噪完成后输出的9张图像,进行高质量SIM图像重建。