论文学习2：基于深度学习的光声图像分析（分割与降噪）

使用深度学习进行多光谱光声图像的语义分割

原文链接：Semantic segmentation of multispectral photoacoustic images using deep learning

摘要

这篇文章介绍了一种基于深度学习的方法，用于多光谱光声成像的语义分割，以促进图像的解释性。使用手动标注的光声和超声成像数据作为参考，使得可以以监督方式训练基于深度学习的分割算法。通过对16名健康人类志愿者采集的实验数据进行验证研究，文章展示了自动组织分割如何能够用于创建多光谱光声图像的强大分析和可视化。高维信息的直观表示方式，使得这样的预处理算法成为促进光声成像临床转化的有价值的手段。

技术路线

本文的技术路线主要集中于使用深度学习方法，特别是神经网络（nnU-Net和FCNN），对多光谱光声（PA）图像及其与超声波（US）图像的组合（PAUS）进行语义分割，旨在提高图像的解释能力以促进光声成像技术的临床转化。技术路线的关键步骤如下：

数据获取和注释

• 数据采集：从16名健康志愿者获取多光谱PA和US图像，涵盖前臂、小腿和颈部等部位，使用多光谱光声断层扫描（MSOT）技术采集图像，并通过特定算法对图像进行重建和后处理。
• 数据注释：采用标准化的注释协议，由领域专家手动对图像进行注释，识别包括血液、皮肤、脂肪等在内的多个注释类别。

深度学习方法

• 网络架构：利用两种神经网络架构——nnU-Net和FCNN——分别基于图像的全貌和单像素光谱信息进行分割，其中nnU-Net能够利用局部上下文信息，而FCNN则完全独立于空间分布。
• 模型训练与验证：在训练/验证集和测试集上分别进行模型训练和性能评估，使用Dice Similarity Coefficient (DSC)和Normalized Surface Distance (NSD)等指标评估分割性能。

实验结果

这篇论文通过在16名健康志愿者上收集的实验数据验证了两个核心假设：(1) 基于多光谱光声（PA）及其与超声波（US）图像组合（PAUS）数据的自动多标签分割是可行的；(2) 即使应用于形态不同的测试数据，自动多标签分割仍然可行。使用nnU-Net和FCNN两种深度学习架构进行实验和分析，得出以下主要发现：

1. 多标签自动分割的可行性：

   • 在多光谱数据上，特别是血液分割任务中，nnU-Net表现出较高的Dice Similarity Coefficient（DSC）分数，略高于人类标注者的平均性能。这表明深度学习方法在处理多光谱PA图像分割方面是有效的。（图像处理结果+量化指标）