光场成像技术的发展为显微成像提供了新的思路,通过对二者进行结合可以实现对微观物体的三维信息和光学信息的获取。
2006年,Levoy和Ng[1]等人在传统光学显微系统的中继成像面上插入一块能够捕获光场信息的微透镜阵列,搭建了世界上第一台光场显微镜(Light-field microscopy,LFM),如图1所示,该光场显微成像系统主要包括传统光学显微镜、微透镜阵列和单反相机。在这项工作中,Levoy和Ng等人分析了LFM光学性能,并展示了通过LFM单次曝光结合计算机数值计算所获得的多个生物标本的多视角、重聚焦和三维重建结果。图2为基于LFM通过数字重聚焦技术重建的蚕嘴三维结构。
图1 传统光学显微镜成像过程(左)、光场显微镜成像过程(中)以及LFM系统(右)
(A-聚光镜;B-载物台;C-物镜;D-物镜成像面;E-目镜;F-微透镜阵列;G-微透镜后焦面)
图2 蚕嘴三维重建结果
与传统光学显微镜相比,光场显微镜大幅度提高了测量景深(80倍甚至更高),无需进行多次扫描即可计算重建三维图像,在生物动态观测领域有着极大的应用前景,因此受到了越来越广泛的关注。但光场显微镜仍存在空间分辨率差、对比度低等问题。
为了提高空间分辨率,2013年,Broxton[2]等人提出了基于波动光学的光场显微镜光学模型(见图3)以及三维反卷积算法,并对花粉粒进行三维重建证明了该方法的可行性,但是采用该方法在焦平面附近存在较强的重构伪影。
图3 Broxton等人提出的基于波动光学的光场显微镜光学模型
2014年,Prevedel[3]等人基于光场显微成像技术搭建了光场反卷积显微镜(Light-field deconvolution microscopy,LFDM),获取了线虫以及斑马鱼幼虫大脑中以单神经元分辨率进行的神经元动态活动的同步功能成像。
2016年,Pégard[4]等人针对传统光学显微镜检测脑组织神经元活动时由脑组织深层散射而导致的低空间分辨率和显著的图像退化问题,提出了一种压缩光场显微镜方法。该技术依赖于荧光信号的空间和时间稀疏性,可以识别和定位三维体积中的每个神经元,而无需重建三维体积图。Pégard等人通过实验对提出的方法进行了演示,在100 Hz的采样率下对斑马鱼活体的800+神经结构进行了跟踪。
图4 Pégard等人跟踪脑部活动所采用的实验装置以及后处理步骤
随后,为了克服重构伪影,学者们发展了傅里叶光场显微镜以进一步提高光场显微镜的性能。2016年,Llavador[5]等人提出了一种新的积分显微镜结构,即在显微镜物镜的傅里叶平面上放置一块微透镜阵列,与传统的积分显微镜获得的图像相比,该配置提供的图像的横向分辨率提高了1.4倍,并且放大了景深。2019年,Guo[6]提出了一种基于傅里叶变换的光场显微成像方法,通过傅里叶域处理光场信息,与传统的光场显微镜性能相比,傅里叶光场显微镜从根本上减轻了伪影并且能够在2到3倍的扩展深度上进行高分辨率成像。
为了消除背景、提高对比度与准确性,学者们发展出与各种选择性激发技术结合而成的光片-光场显微镜、共聚焦光场显微镜等。另外,将神经网络与光场显微成像技术结合在生物医学研究中也发挥了重要作用。
2021年,Wang[7]等人将视图-通道-深度(VCD)神经网络与光场显微镜相结合,产生具有均匀空间分辨率和高视频率重建吞吐量的无伪影三维图像序列。并且以高达200 Hz的单细胞分辨率对移线虫的神经元活动和跳动的斑马鱼心脏的血流进行了成像,实验结果证明了该方法明显优于经典的光场反卷积显微镜方法。
除了生物医学检测领域,光场显微成像技术在微尺度流动三维速度场测量领域也有着较好的应用。2019年,宋祥磊[8]等人提出了一种基于光场显微成像的粒子图像测速技术,在用显微镜组装笼式光场相机的基础上进一步建立光场显微PIV系统,计算点扩散函数,然后利用L-R三维反卷积算法由示踪粒子的光场图像重建示踪粒子的空间位置,计算微尺度流动的三维速度场。最后宋等人通过仿真和实验验证了光场显微PIV技术的可行性。
图5 宋祥磊等人提出的光场显微PIV系统
总结
通过对光场成像技术和显微镜的结合,以及数据处理算法的优化,光场显微光场测量技术能够实现对微观物体的高精度动态三维信息和光学信息的获取。随着技术的不断发展和应用的拓展,光场显微成像技术将为微观领域的研究和应用提供更多的可能性。
[1] Levoy M, Ng R, Adams A, et al. Light field microscopy[M]//Acm Siggraph 2006 Papers. 2006: 924-934.
[2] Broxton M, Grosenick L, Yang S, et al. Wave optics theory and 3-D deconvolution for the light field microscope[J]. Optics express, 2013, 21(21): 25418-25439.
[3] Prevedel R, Yoon Y G, Hoffmann M, et al. Simultaneous whole-animal 3D imaging of neuronal activity using light-field microscopy[J]. Nature methods, 2014, 11(7): 727-730.
[4] Pégard N C, Liu H Y, Antipa N, et al. Compressive light-field microscopy for 3D neural activity recording[J]. Optica, 2016, 3(5): 517-524.
[5] Llavador A, Sola-Pikabea J, Saavedra G, et al. Resolution improvements in integral microscopy with Fourier plane recording[J]. Optics express, 2016, 24(18): 20792-20798.
[6] Guo C, Liu W, Hua X, et al. Fourier light-field microscopy[J]. Optics express, 2019, 27(18): 25573-25594.
[7] Wang Z, Zhu L, Zhang H, et al. Real-time volumetric reconstruction of biological dynamics with light-field microscopy and deep learning[J]. Nature methods, 2021, 18(5): 551-556.
[8] Song X, Gu M, Cao L, et al. A microparticle image velocimetry based on light field imaging[J]. IEEE Sensors Journal, 2019, 19(21): 9806-9817.