先滑窗后时空联合处理MATLAB,时空联合优化重建方法及系统与流程

本发明属于图像三维重建技术领域，尤其涉及一种基于扫描光场显微成像系统的时空联合优化重建方法及系统。

背景技术：

三维成像一直是显微成像研究领域中的热点前沿，对科学家探索生命奥秘、疾病机理均有重大意义。扫描光场显微成像系统是一项重要的三维成像技术。它将亚像素平移引入了传统光场显微成像系统中，克服了传统光场显微的低空间分辨率问题，达到衍射极限成像。同时，扫描光场显微成像系统的采集速度可达到100hz，可被应用于众多亚细胞级别的三维动态观测之中。这是一项非常有前景的三维显微成像技术。

而另一方面，扫描光场显微成像系统存在一定的缺陷。第一是采集速度快，但后处理重建速度缓慢，这对计算机性能带来很大的挑战，而且无法用于实时成像之中；第二是实际体成像帧率远低于图像采集帧率，体成像帧率只有约10hz，因为扫描光场显微成像系统需要采集多张扫描光场数据，才能够重建出一个三维体积；第三是无法对超快运动的生物组织进行成像，当多张扫描光场数据所记录的样本形态差距过大时，扫描光场显微成像系统的重建结果容易出现运动模糊和伪影，造成了数据的不准确性。因此，扫描光场显微成像系统在高动态的成像环境中，表现出较大局限性。这些缺陷制约了扫描光场显微成像系统的进一步发展和应用。

技术实现要素：

为解决上述技术问题，本发明旨在通过时空联合优化的方法提升扫描光场显微成像系统的三维重建性能，尽可能地恢复由扫描带来的时间分辨率损失，去除由于样本过快变化带来的运动模糊和伪影，并大幅提升重建速度。

为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明采用如下技术方案：

在一些可选的实施例中，提供一种时空联合优化重建系统，包括：

扫描光场采集模块，用于将样本的信息转化为光信号，再转化为光场图像数据并采集所述光场图像数据，以获得扫描光场数据堆栈；

预处理模块，用于将所述光场图像数据进行预处理，校正所述光场图像数据以符合物理模型，并按照时间顺序构建图像堆栈；

时空联合双向循环重建模块，用于判定光场图像数据方向，依据所述光场图像数据方向滑动窗口读取数据，并根据样本运动速率确定时间权重，将加权后的光场图像数据进行像素重新排列并进行空间上采样以获取四维相空间数据，使用理查德森露西算法对空间三维体积进行重建。

在一些可选的实施例中，所述时空联合双向循环重建模块，包括：

数据方向判定单元，用于进行光场图像数据方向的判定，首先按照时间从前到后的顺序，确定数据输入方向，当输入到最后一帧时，再将时间反方向，数据方向为从最后一帧到第一帧；

滑动窗口读取单元，用于滑动窗口读取数据，根据所述数据方向判定单元判定的数据方向，每次滑动读取对应于一个体积的扫描数据；

时间权重交错单元，用于根据样本运动速率，确定时间权重；

相空间数据提取单元，用于将加权后的光场图像数据进行像素重新排列，并进行空间上采样，获取四维相空间数据；

空间三维初始化单元，用于对空间三维体积进行初始化；

空间三维重建单元，用于使用理查德森露西算法对空间三维体积进行重建。

在一些可选的实施例中，所述扫描光场采集模块包括：样本、扫描光场单元及图像传感器，所述样本的信息转化为光信号后通过所述扫描光场单元生成带有亚像素平移的光场图像数据，并经所述图像传感器进行采集，获得扫描光场数据堆栈。

在一些可选的实施例中，所述预处理模块包括：数据修正单元，用于对所述光场图像数据进行校正，使其符合光场成像的物理模型；扫描光场时间排序单元，用于将校正后的光场图像数据按照时间顺序进行排序。

在一些可选的实施例中，所述数据修正单元包括：旋转子单元，用于对所述光场图像数据进行基于插值算法的旋转，使其符合光场成像的物理模型；裁剪子单元，用于对所述光场图像数据进行裁剪，去除多余的边界；平移子单元，用于对所述光场图像数据进行像素平移或亚像素平移。

在一些可选的实施例中，所述扫描光场时间排序单元，包括：扫描图像单张分离子单元，用于将对应一个体积的光场图像数据按不同扫描平移量分离；构建时序堆栈子单元，用于将所述扫描图像单张分离子单元分离后的二维数据按采集时间排序，组成时序堆栈。

在一些可选的实施例中，所述时间权重交错单元包括：时间权重计算子单元，用于通过样本的运动速率估计时间权重；时间权重赋值子单元，用于将时间权重赋值给光场图像数据。

在一些可选的实施例中，所述相空间数据提取单元包括：像素重新排列子单元，用于将光场图像数据转化为四维相空间数据；上采样插值子单元，用于将四维相空间数据进行上采样，以用于三维重建中孔径融合。

在一些可选的实施例中，时空联合优化重建方法，包括：

s1：将样本的信息转化为光信号，再转化为光场图像数据并采集所述光场图像数据，对所述光场图像数据进行预处理后，将对应一个体积的光场图像数据按不同扫描平移量分离，并将分离后的二维数据按采集时间排序，构建图像堆栈；

s2：判定光场图像数据的方向，根据步骤s1的时间顺序从前到后的顺序，确定数据输入方向，当输入到最后一帧时，再将时间反方向，数据方向为从最后一帧到第一帧，并将当前数据流格式输入至步骤s3；

s3：滑动窗口以读取数据，对步骤s2中确定的数据流和数据方向，进行数据读取；

s4：根据样本运动速率，确定时间权重，将时间权重赋值给光场图像数据；

s5：将加权后的光场图像数据进行像素重新排列，并进行空间上采样插值，转化成四维相空间数据；

s6：使用理查德森露西算法对空间三维体积进行重建；

s7：判断是否达到理查德森露西算法迭代上限，若是达到，则结束，否则返回步骤s3。

本发明所带来的有益效果：加入时空联合约束，优化了传统重建算法，大大加快了重建速度，有效降低三维重建时间，并恢复了体成像时间分辨率，即扫描所牺牲的时间分辨率，同时消除了由于样本过快变化带来的运动模糊和伪影，从而提升了扫描光场显微成像系统的性能，扩展其在生物组织高速捕捉等场景下的应用；对于整个时间延时三维视频，时间双向循环算法主要利用了四维信息在时间维度的连续性与冗余性，能够提升整体的信噪比。

附图说明

图1是本发明时空联合优化重建系统的原理框图；

图2是本发明时空联合优化重建方法的流程示意图；

图3是线虫组蛋白有无时空联合优化的三维重建效果对比图。

具体实施方式

以下描述和附图充分地展示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。

如图1所示，在一些说明性的实施例中，提供一种基于扫描光场显微成像系统的时空联合优化重建系统，包括：扫描光场采集模块100、预处理模块200及时空联合双向循环重建模块300。

扫描光场采集模块100，用于将样本的信息转化为光信号，再转化为光场图像数据并采集光场图像数据，以获得扫描光场数据堆栈。

扫描光场采集模块100包括：样本110、扫描光场单元120及图像传感器130。样本110的信息转化为光信号后通过扫描光场单元120生成带有亚像素平移的光场图像数据，并经图像传感器130进行采集，获得扫描光场数据堆栈。

扫描光场单元120可以对成像光路进行扫描，也可以对微透镜阵列进行扫描。图像传感器130可以为科研型互补金属氧化物半导体晶体管scmos、单色传感器或电荷耦合器件ccd或互补金属氧化物半导体晶体管cmos，或其他类型的成像传感器，在此不做具体限定。

预处理模块200，用于将光场图像数据进行预处理，校正光场图像数据以符合物理模型，并按照时间顺序构建图像堆栈。

预处理模块200包括：数据修正单元210及扫描光场时间排序单元220。数据修正单元210，用于对光场图像数据进行校正，使其符合光场成像的物理模型；扫描光场时间排序单元220，用于将校正后的光场图像数据按照时间顺序进行排序。

数据修正单元210包括：旋转子单元211，用于对光场图像数据进行基于插值算法的旋转，使其符合光场成像的物理模型；裁剪子单元212，对光场图像数据进行裁剪，去除多余的边界；平移子单元213，对光场图像数据进行像素平移或亚像素平移，减少误差。数据修正单元210校正采集的光场图像数据，能够实现对物理模型的校正，通过离散数学矩阵的插值运算实现。

扫描光场时间排序单元220，包括：扫描图像单张分离子单元221，用于将对应一个体积的光场图像数据按不同扫描平移量分离；构建时序堆栈子单元222，用于将扫描图像单张分离子单元221分离后的二维数据按采集时间排序，组成时序堆栈。

时空联合双向循环重建模块300，用于判定光场图像数据方向，依据光场图像数据方向滑动窗口读取数据，并根据样本运动速率确定时间权重，将加权后的光场图像数据进行像素重新排列并进行空间上采样以获取四维相空间数据，使用理查德森露西算法对空间三维体积进行重建。

时空联合双向循环重建模块300，结合三维样本在空间中运动与响应这一四维信息本身的低秩性和稀疏性，实现扫描光场图像数据的时空联合双向循环优化重建，对传统三维重建方法进行优化，恢复采集时间分辨率，提升重建速率。具体包括：数据方向判定单元310、滑动窗口读取单元320、时间权重交错单元330、相空间数据提取单元340、空间三维初始化单元350、空间三维重建单元360。

数据方向判定单元310，用于进行光场图像数据方向的判定，首先按照扫描光场时间排序单元220的时间顺序从前到后的顺序，确定数据输入方向，当输入到最后一帧时，再将时间反方向，数据方向为从最后一帧到第一帧，并将当前数据流格式输入至滑动窗口读取单元320。

滑动窗口读取单元320，用于滑动窗口读取数据，根据数据方向判定单元判定的数据方向，每次滑动读取对应于一个体积的扫描数据。

时间权重交错单元330，用于根据样本运动速率，确定时间权重，赋予每张二维光场图像不同的权重，赋予时间时刻数据更高的权重，进行时间权重交错平衡。

相空间数据提取单元340，用于将加权后的光场图像数据进行像素重新排列，并进行空间上采样，获取四维相空间数据。

空间三维初始化单元350，用于对空间三维体积进行初始化，第一次重建时使用均匀值作为初值，之后使用均匀初始值的平均值和前一帧的重建结果替换均匀初始值。

空间三维重建单元360，使用理查德森露西算法对空间三维体积进行重建。时空联合双向循环重建模块300可进行双向循环，快速重建。空间三维重建单元360可以重建三维结构，通过使用成像叠层，可以消除样品对焦点外的平面上的信号的影响，并且基于成像叠层实现样品的三维重建。空间三维重建单元360的计算重建过程可以在诸如普通个人电脑或工作站的硬件系统上实现。计算重建部分可以使用所获取的图像信息来进行样本的计算重建。

时间权重交错单元330计算重建所需的时间权重，并用于扫描光场图像数据之中，即可根据样本的不同运动速率估计时间权重，并将时间权重赋值给扫描光场数据之中。具体包括：时间权重计算子单元331，用于通过样本的运动速率估计时间权重；时间权重赋值子单元332，用于将时间权重赋值给光场图像数据。

相空间数据提取单元340将具有重叠的光场图像数据恢复成四维相空间数据，具体包括：像素重新排列子单元341，用于将光场图像数据转化为四维相空间数据；上采样插值子单元342，用于将四维相空间数据进行上采样，以用于三维重建中孔径融合。

区别于传统显微三维重建方法，本发明主要是利用三维样本在空间中运动与响应这一四维信息本身的低秩性和稀疏性，可使视频重建更具有全局性。每一次扫描都是对全局信息的一次获取，故而能使用时空联合优化算法恢复出由于扫描而损失的时间分辨率，进一步提升采集速度。若将四维信息，即延时3d视频看作一个整体进行重建，使用滑动窗口便能恢复由周期性扫描过程所损失的时间分辨率。

如图2所示，在一些说明性的实施例中，提供一种基于扫描光场显微成像系统的时空联合优化重建方法，实现本发明首先需要构建扫描光场显微成像系统，在传统光场显微镜的基础上，使用扫描振镜等光机电器件，对采集端光路进行亚像素扫描，达到具有采集扫描光场数据能力的显微成像系统。

本发明的时空联合优化重建方法包括：

s1：采集光场图像数据，并进行预处理。

使用构建的扫描光场显微成像系统，对样本的光场信息进行扫描和采集，即将样本的信息转化为光信号，再转化为光场图像数据并采集光场图像数据，对光场图像数据进行预处理后，将对应一个体积的光场图像数据按不同扫描平移量分离，并将分离后的二维数据按采集时间排序，构建图像堆栈。

对光场图像数据进行预处理包括：平移、旋转、裁剪等预处理，保证像素的一一对应。旋转是对光场图像数据进行基于插值算法的旋转，使其符合光场成像的物理模型；裁剪是对光场图像数据进行裁剪，去除多余的边界；平移是对光场图像数据进行像素平移或亚像素平移，减少误差。

s2：对多帧数据重建方向进行判定。

判定光场图像数据的方向，根据步骤s1的时间顺序从前到后的顺序，确定数据输入方向，当输入到最后一帧时，再将时间反方向，数据方向为从最后一帧到第一帧，并将当前数据流格式输入至步骤s3。

s3：滑动窗口以读取数据。

滑动窗口以读取数据，对步骤s2中确定的数据流和数据方向，进行数据读取；保证第k次读取[k，k+n-1]滑动窗口内数据。当数据方向相反时，则反向滑框读取。

s4：进行时间权重交错平衡。

根据样本运动速率，确定时间权重，将时间权重赋值给光场图像数据，赋予每张二维光场图像数据不同的权重，赋予时间时刻数据更高的权重。对某一时刻的单张光场数据赋予更高的权重，可使其减轻受到其他时刻的影响，减缓运动模糊和伪影。

s5：提取相空间信息。

将加权后的光场图像数据进行像素重新排列，并进行空间上采样插值，转化成四维相空间数据。

s6：进行空间三维重建。

重建之前需初始化三维空间体积，其中第一次重建时使用均匀值作为初值；之后使用均匀初始值的平均值和前一帧的重建结果替换均匀初始值。

使用理查德森露西算法对空间三维体积进行重建；

s7：判断是否达到理查德森露西算法迭代上限，若是达到，则结束，否则返回步骤步骤s3，即重复步骤s3至s6，直至达到理查德森露西算法迭代上限。

参照图3所示，搭建扫描光场显微成像系统，对线虫中的组蛋白进行成像，并使用基于扫描光场显微成像系统的时空联合优化重建方法对其进行三维重建。图3中对比了有无使用时空联合优化的三维重建结果。左列表示没有使用时空联合优化的三维重建结果，右列表示使用时空联合优化的三维重建结果。可以清晰地看出，基于基于扫描光场显微成像系统的时空联合优化重建方法有效地提升了成像质量，大幅提高了成像分辨率与对比度。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。