基于深度学习的全息粒子场成像进展

基于深度学习的全息粒子场成像进展

深度学习算法随着计算机性能的提升以及各种算法的提出，在成像以及一些视觉任务中得到了广泛应用。将深度学习与数字全息结合则是一个比较新颖的方向。该方向上现有文章和现有研究方向都只是一小部分，所以留给我们研究的内容还是很多的。我主要做的是基于深度学习的粒子场数字全息成像。这篇文章中，我主要介绍深度学习与粒子场数字全息成像相结合的几篇文章，这也在我的一篇文章中做了具体介绍，具体可以参考我的文章[1]。希望能给一些人一些启发，同时如果想讨论或者一起交流的，欢迎加我微信（Eugene-13）。同时欢迎关注“羽峰学编程公共号”，让我们共同进步。

 

1. 采用深度坐标、半径和折射率表征粒子

    数字全息显微镜获得的胶体球全息图可用洛伦兹-米氏（Lorenz-Mie）光散射理论解释，以跟踪和定位每个粒子，并测量其尺寸和折射率。但是这种技术的成本是将每个全息图逐像素拟合，计算量非常大。2014年D. G. Grier等人提出用 z, a, r 三个参量来表征粒子，分别表示粒子深度坐标、半径大小和折射率大小。用三个SVM分别计算粒子的 z, a, r 三个物理参量[2]。

SVM训练数据产生和训练流程示意图

2. 采用内、外核折射率和半径表征粒子

    使用数字全息技术跟踪和定位粒子时，通常通过反向传播和非线性模式匹配等算法，但这些算法中大都包含积分和FFT运算，因此如果增加图像大小或是并行研究多个粒子，计算成本会大大增加。2015年，B. Schneider等人提出用来表征粒子，分别代表粒子内核折射率、外核折射率、内核半径、外核半径，并以此来跟踪和定位粒子[3]。采用全连接神经网络，用粒子全息图的一维径向扫描作为全连接神经网络的输入，输出是包含粒子信息(n1, n2, Rcore, Rshell)四维向量，具体训练过程可用下图描述。

 神经网络训练示意图

3. 采用二维坐标表征粒子

Y. Wu等人提出了一种用粒子二维平面坐标(x, y)来表征粒子[4]。在燃烧过程中，由于燃烧速度不同，燃烧阶段不同，可燃物燃烧不完全使得小粒子与未燃烧或是小粒子聚集之后产生的大粒子广泛共存，这使小粒子很难被检测到。将Y. Wu等人提出的方法用于燃烧过程中的小粒子检测，通过训练改进的全卷积网络（FCN）可提高小粒子检测精度和误检率。

FCN网络结构

4. 采用三维坐标表征粒子

    S. Shao等人提出用三维坐标(x, y, z)来表征粒子，在三维空间内，粒子的x, y, z坐标各不相同，用这三个参数可以确定粒子场中的每一个粒子，并以此来检测和定位三维粒子场中的粒子[5]。提出了一种改进的U-Net网络模型，在每个编码器和解码器上都加入了残差模块（Residual Connection），用Swish激活函数代替ReLu激活函数，从而缩短了网络的训练时间和减弱了网络最后几层的退化。使该网络更好的应用在三维粒子场中的粒子的检测。

改进的U-Net网络结构图

5. 采用三维坐标和半径表征粒子

粒子场数字全息成像中粒子表征及粒子场反向重建通常需要多次衍射计算，然后通过使用聚焦度量来检测粒子的横向和轴向位置。但这些过程通常要消耗很长时间，使得该方法很难应用在粒子全息图的实时重建过程中。T. Shimobaba等人采用粒子的三维坐标(x, y, z)和粒子半径(R)四个物理参量来表征粒子[6]。由于每个粒子在三维空间内具有独特的坐标和半径，用此四个物理参量就可以确定空间中任意一个粒子，从而来检测和定位空间中的粒子。并用采用DNN网络，从同轴全息图中直接重建粒子的三维体积场。这种方法较传统方法运算时间要快很多，并且对再现全息图的质量要求不是很高。在一些复杂场合中也能应用。

DNN网络结构

总结

深度学习算法由于其重建速度快，相比于传统非迭代优化求解算法计算时间明显缩短，在数字全息重建中发挥重要作用。深度学习算法主要是通过神经网络的线性或非线性拟合实现的。其中神经网络具备强大的拟合能力，可以完成非常复杂的线性或非线性映射。同时卷积神经网络包含很多参数，可以得到非常高维的假设空间，从而使得深度学习具有强大的表征能力。深度学习的最新进展促进了具有实时性能的粒子场数字全息成像的应用，如粒子场数字全息成像中粒子表征及粒子场反向重建、粒子跟踪和定位等。基于SVM的全息粒子表征方法，需要创建深度坐标、半径和折射率三个分类器，计算速度较慢。全连接神经网络计算速度得到很大提升但其特征提取能力较弱，输出结果准确率相对较低。FCN网络增加了卷积、池化和激活函数等操作，输出结果准确率得到了很大提升。DNN网络是一种U-Net结构的网络，提取图片特征的能力、图片精细度、输出结果准确率和计算速度均得到了改进，可以在包含300粒子的粒子场数字全息图中实现40.4%的粒子提取率。对U-Net网络进一步改进，引入了残差模块和Swish函数，粒子提取率可以高达98%。可以预见，随着深度学习算法的不断进步，会有更多新的网络提出，使得粒子场全息图的深度学习重建算法的准确率和计算速度不断提升。

基于深度学习的粒子场数字全息成像方法主要有以下三方面优势：（1）深度学习算法大约将大量时间花费在训练模型中，模型一旦训练好，在粒子场数字全息成像中，则会花费很少的时间，能够达到实时计算实时显示的目的；（2）由于卷积神经网络的层数不断增加，使其拟合能力不断提升，可以拟合很复杂的逆向光场重建模型，可以在多种领域中进行粒子场数字全息成像；（3）由于深度学习算法的不断发展，有许多成熟的网络架构可以做稍加修改就可以应用在粒子场数字全息成像中，使得算法设计变得简单。

但基于深度学习的粒子场数字全息成像方法同时也存在着许多挑战：（1）实验数据的获取方式与真实场景存在着一定误差，使得训练好的深度学习模型应用在实际中的误差要比理论误差大；（2）若三维场景中的两个粒子在二维平面上的投影相距很近，或者有部分重合甚至完全重合，现有传感器很难将这两个粒子形成的全息图区分开，误判为一个粒子，导致重建误差较大；（3）深度学习算法是以数据驱动方式训练神经网络，其网络参数选择是没有理论基础的，按照该参数选择方法，通过有限数据训练神经网络来拟合一个符合粒子场数字全息成像的映射函数，该映射函数并不是唯一的，但其真实映射函数却只有一个，这就导致其实际拟合结果和理论结果存在着一定的误差。（4）由于深度学习模型计算过度依赖于大量浮点计算而很难应用在一些资源受限的设备上，例如普通移动设备，现场可编程门阵列（FPGA）等，所以需要从模型压缩减少深度学习算法中冗余的浮点运算或是提高设备的硬件处理能力等方向来加快深度学习算法的移动端应用速度。

现阶段基于深度学习的粒子场数字全息成像中粒子的表征及反向重建的实验几乎都是在理想情况下得到的数据集，一旦到实际应用中，如光照的不均匀，环境噪声太大等因素都将使得生成的数字全息图受到影响，这时候的网络很难准确表征粒子并检测出粒子。所以增加数据集丰富性或是得到更加真实的数据集使得深度学习算法在实际应用中能够获得更高的准确率是一个必要的研究方向。其次是如何用光场理论来解释深度学习应用在粒子场数字全息成像中的原理，使深度学习算法不再是一个黑匣子，并使其得到的结果更具说服力。

参考文献

[1]吴羽峰, 吴佳琛, 郝然,等. 基于深度学习的粒子场数字全息成像研究进展[J]. 应用光学, 2020(4):662-674.

[2]YEVICK A, HANNEL M,GRIER D G. Machine-learning approach to holographic particlecharacterization[J]. Optics express, 2014, 22(22): 26884-26890.

[3]SCHNEIDER B, DAMBRE J, BIENSTMAN P. Fast particlecharacterization using digital holography and neural networks[J]. Appliedoptics, 2016, 55(1): 133-139.

[4] WU X, LI X, YAO L, et al.Accurate detection of small particles in digital holography using fullyconvolutional networks[J]. Applied optics, 2019, 58(34): G332-G344.

[5] SHAO S, MALLERY K, KUMAR S S,et al. Machine learning holography for 3D particle field imaging[J]. Opticsexpress, 2020, 28(3): 2987-2999.

[6] SHIMOBABA T, TAKAHASHI T, YAMAMOTO Y, et al. Digitalholographic particle volume reconstruction using a deep neural network[J].Applied optics, 2019, 58(8): 1900-1906.