基于Dense-U-net的3D粒子场全息重建

​这篇文章是我自己写的一篇文章，如有需要，欢迎引用[1]。

代码可从github上获取：https://github.com/THUHoloLab/Dense-U-net 。

相关工作介绍可以观看展示PPT：http://www.holoddd.com/col.jsp?id=141（Dense encoder-decoder network for 3D holographic particle imaging）。

本人也以开通微信公共号“羽峰码字”，欢迎各位关注。文章也会在公共号上进行分享，可以在零散时间拿手机阅读。

目录

1. 前言

2. 仿真数据的生成

3. 数据集生成及处理

4. Dense-U-net网络

5. 实验结果分析

6. 结论

---

1. 前言

对于3D粒子场全息成像，深度学习算法可以直接从单个全息图重建3D粒子场分布。在训练网络模型期间，无需手动设置即可自动调整其参数。网络模型的训练完成后，只需要O（1）空间复杂度即可重建3D粒子场分布。与传统算法相比，计算效率有了显著提高。本文提出了一种基于深度学习的三维粒子场全息成像方法。将传统的U-Net网络的编码器和解码器由专门设计的密集连接模块（Dense_Block）代替，我们将其称为Dense-U-net。面向角光谱层的算法用于生成模拟的3D粒子场全息图。这些全息图用作Dense-U-net网络的输入数据。提出了一种新的粒子表征方法，以生成与全息图相对应的二维编码图像，作为Dense-U-net网络训练的真值。将该Dense-U-net与基于CNN的传统U-Net网络和基于残差连接的U-Net（Res-U-net）的网络进行比较。使用结构相似性（SSIM）和峰值信噪比（PSNR）评估这些网络的输出。然后，利用仿真全息图和实验全息图验证Dense-U-net网络的可行性和有效性。

2. 仿真数据的生成

采用Matlab软件，并使用面向层结构的角谱算法来生成我们的仿真数据集，具体生成过程如图1所示。随机生成三维粒子场，其粒子场的长度和宽度均为5.12 mm。三维粒子场中的粒子随机分布在距离传感器1–3.048 mm的范围内。粒子的数目是1–200中的随机整数，粒子的大小是5–10 μm中的随机整数。面向角光谱层的算法中激光波长为532 nm。将生成的随机粒子场在轴向方向以8 μm为间隔进行分层，用角谱传播算法计算每层的全息图，最后累积所有层的全息图以生成三维粒子场对应的全息图。所有层的全息图尺寸均为512×512像素，像素间距为10 μm。衍射距离表示从每个粒子到传感器的距离。轴向方向的分辨率为8 μm，具有256个离散深度级别。

                                               图1 仿真数据生成示意图

3. 数据集生成及处理

每个粒子使用(x，y，z，R)进行表征，其中(x，y)代表粒子质心的位置，(z)代表粒子的轴向深度，(R)代表粒子的半径。三维粒子场全息图如图2（a）所示。每张全息图被编码为512×512的灰度图像，如图2（b）所示。三维粒子场中的每个粒子都被编码为2D矩形，矩形的中心坐标表示粒子的位于x轴和y轴的位置，矩形的边长代表粒子半径（R），矩形的灰度值表示粒子的轴向深度位置（z）。依据这个粒子表征方法，我们将仿真生成的每张全息图，都生成一张对应的二维灰度矩形图。3D粒子场全息图（图2（a））作为网络的输入，二维灰度矩形图（图2（b））则作为网络训练的真值。

                                      图2 （a）全息图，（b）编码灰度图

4. Dense-U-net网络

Dense-U-net网络使用全息图作为输入，并产生每个粒子的（x，y，z，R）坐标作为其输出。如图3（a）所示，Dense-U-net网络的解码器和编码器是由Dense_Block构成，如图3（b）所示。在编码过程中，使用卷积层将输入图像的特征编码到网络中，使用编码器的提取图像的特征，然后Max_Pooling对特征图进行下采样，使得下一个编码器能提取到更高级的图像特征。解码器的过程类似，但是相反。卷积层用于解码通道以形成图像，而上采样则调整特征图的大小，达到和输入图像具有相同像素分辨率的图像。每个编码器的输出通过跳跃连接结构（Skip connection）连接到解码器的输入，该结构将图像的局部和全局特征组合在一起，可以更好的训练网络。Dense_Block中的这种连接结构对于三维粒子场的全息成像至关重要，这是由于单个小粒子的衍射信息分布在整个图像中，跳跃连接能增加一些低级语义信息，这些信息使得粒子的检测和识别更加准确。Dense_Block的设计提高了网络的训练速度，并降低了随着网络深度的增加而出现的梯度下降和梯度消失的风险。

                                                        图3 Dense-U-net网络结构示意图

5. 实验结果分析

5.1  五种网络对比

将所提出的Dense-U-net与四种网络进行对比，四种网络分别是包含一个非线性转化函数的传统U-Net网络，称之为BN-U-net-1；包含CNN_Block的U-Net网络，称之为BN-U-net-3；包含一个非线性函数,且在每个编码器和解码器的输入与输出之间加入一个跳跃连接结构，称之为Res-U-net-1；包含Res_Block的U-Net网络，称之为Res-U-net-3；四种网络的其中一个编码器和解码器的结构分别图4（a）（b）（c）（d）所示。

                                                        图4 四种网络结构示意图

我们使用具有100个粒子，200个粒子和300个粒子的全息图对五种网络的性能进行测试，其结果如图5所示。随着粒子浓度的增加，BN-U-net-1和Res-U-net-1网络的输出结果质量下降明显，表明这种单一简单的结构并不适合三维粒子场的重建任务。BN-U-net-3和Res-U-net-3网络的输出结果要优于BN-U-net-1和Res-U-net-1网络，这表明随着网络层数的增加，使得网络的学习能力得到提升，从而提高了网络输出结果的准确率。与Dense-U-net输出结果相比，BN-U-net-3和Res-U-net-3网络的输出矩形变形更加明显，且Dense-U-net的输出结果与真值更为接近，表明所提出的Dense-U-net网络模型要优于BN-U-net-3和Res-U-net-3，更加适合三维粒子场全息图的重建任务。

                                                        图5 五种网络输出对比

 

5.2  Dense-U-net网络结果分析

 采用包含75粒子的全息图和包含100粒子的全息图对Dense-U-net网络进行评估。如图6（a）和（e）分别表示为Matlab软件随机生成的包含75个粒子和100个粒子的三维粒子场。图6（b）（f）是分别包含75粒子和100粒子的三维粒子场对用的全息图，使用面向层结构的角谱传播算法进行生成。图6（c）和（g）为Dense-U-net的网络输出结果，采用图像处理算法对每一个矩形进行粒子信息提取，提取之后的信息可对三维粒子场进行重建，并采用三维可视化的方法进行可视化，分别对应图6的（d）和（h）。从图中可以看出重建的三维粒子续航与原粒子场是非常接近的。

                                                       图6 Dense-U-net网络的输出结果

将重建的三维粒子场与原三维粒子场放在一起展示，如图7所示。图中红色圆圈粒子代表原粒子场，蓝色加号代表重建粒子场。从图中我们可以更加直观的观察到重建的三维粒子场与原三维粒子场的差异。在图中我们可以观察到，大部分重建粒子与原粒子的位置是重合的，即使有差异也是很小的位置差异。只有个别粒子的重建位置与原位置不在同一位置。这个结果也说明了本节提出的Dense-U-net网络对三维粒子场的重建是非常有效的。

 

                                                      图7 重建三维粒子场与原三维粒子场对比

此外，如图8所示，使用捕获的全息图测试Dense-U-net网络。在此实验中，将直径为180-200 μm的聚苯乙烯小球随机放入水中以形成3D粒子场。颗粒位于距图像传感器117 mm至127 mm的范围内。波长为532 nm的激光照亮颗粒并形成全息图，由CMOS捕获（QYH174、1200×1980、5.86μm正方形像素），如图8（a），（e）。然后通过手动阈值和强度加权质心计算获得真值的颗粒位置（图8（b），（f）），深度间隔为250 μm。将粒子位置和大小编码为2D矩形灰度图像作为真值。训练数据集由200张实验拍摄的粒子场全息图及其对应的粒子3D位置组成。通过随机裁剪，垂直镜像和水平镜像等图像增强算法将训练数据集扩充到2000张。如图8所示，使用了与合成情况相同的方法将预测粒子与真值进行匹配。尽管输入有噪声（图8（a），（e）），但训练模型的预测结果与真值一致。用Dense-U-net测试50张实验全息图，粒子提取率为98.95％，x，y和z方向的定位误差小于1体像素。从仿真和实验的角度来看，Dense-U-net表现出良好的粒子检测效率。

                                图8 通过Dense-U-net重建实验粒子场全息图

 

 

6. 结论

为了解决3D粒子场全息成像中难以检测小粒子的问题，提出了一种Dense-U-net网络。Dense-U-net网络的解码器和编码器都在Dense_Block中使用。在Dense_block中，每一层都从所有先前的层获取输入，并将其自身的特征图传递给所有后续的层。因此，每一层都可以学习全息图的更多局部和全局特征，以更好地检测粒子的特征。Dense-U-net需要较少的网络训练参数。因此，Dense-U-net体系结构占用较少的内存资源，并且需要较短的训练时间。我们建议，所提出的方法可以推广到类似的成像任务，并且更适合解决有限的计算资源（例如便携式设备）中的挑战性情况。

 

参考文献

[1] Y W , J W , S J , et al. Dense-U-net: Dense encoder–decoder network for holographic imaging of 3D particle fields[J]. Optics Communications, 2021.