《Speckle noise reduction in optical coherence tomography images based on edge-sensitive cGAN》文章学习

这篇论文是苏州大学陈新建教授团队的。因为这篇论文中有去噪，所以关注了这篇论文。

一、文章概要

这篇论文主要思想是：提出了一种端到端的用于基于条件生成对抗网络（cGAN），用于去除Bscans中的斑点噪声。目标函数中引入了新的边缘损耗，使网络对边缘信息敏感，从而在均匀区域平滑的同时实现了良好的边缘保持。

文中所述，边缘信息的作用：虽然OCT去噪的主要目的是减少均匀区域的颗粒状外观，但另一个重要问题是保留图像细节，尤其是边缘，因为边缘是视觉检测和视觉检测所需的最重要信息。自动分析，如分割。 由于OCT图像中的噪声水平高，许多空间滤波器倾向于使图像过度平滑，导致边缘处的对比度降低。 基于块匹配的方法可能导致由不同块中的边缘的不一致引起的边缘失真。 基于变换的方法还倾向于在边缘附近产生具有变换基础形状的伪像。

                                                                                  图一：整体流程

二、cGAN介绍

1. 纵观cGAN

条件生成模型网络cGAN：与学习从随机噪声到输出图像的映射的原始GAN不同，cGAN生成以观察图像为条件的输出图像。 cGAN由两个具有相反目标的模块组成：生成器G，用于提取观察图像x的特征并生成相应的伪图像y(fake)，鉴别器D，用于分类真实对（x，y(real)）和假对（x，y(fake)）。如图二所示。CGAN目标是从X和随机变量Z中学习到Ground Truth y的映射。

 

2.cGAN中loss

• X:输入图片；
• z:随机噪声；
• y :GT；
• D: 判别器输出；
• G：生成图片的输出；

第一项是在所有训练图像对上计算的期望值，第二项是在所有训练观察到的成像和随机矢量上计算的期望值。、

 

在训练中，D的目标是最大化loss，G的目标是对D的目标最小化，这里G*代表G的优化结果。

以前的cGAN方法发现将cGAN的目标loss与传统的loss（eg:L1或L2）结合有好处，这样生成的图像更接近于地面实况。 L1loss可以发现在空间中稀疏分布的错误，而L2 loss则可以发现在空间中均匀分布的错误。所以，L1 loss 导致的模糊程度低于L2 loss。

本篇论文中的核心是增加了边缘信息相关的损失以进一步修改loss，用于解决去噪时边缘保留难的问题。 边缘loss定义如下：

其中 i 和 j 表示B扫描图像中纵向和横向的坐标。 边缘loss衡量的是：生成的图像与 Ground Truth 之间的边缘相似性，这受到边缘保存指数（EPI）的启发。 由于视网膜具有分层结构，纵向梯度比横向梯度更重要。 因此，本篇论文中，考虑到模型的简单性，在计算边缘loss时仅使用纵向梯度。

所以：本篇论文最终的loss为：

 

3.cGAN中loss

本文中

• 生成器G的主要框架采用：U-Net。
• 鉴别器D的主要架构采用：PatchGAN。patchGAN理解1，patchGAN理解2.
• Convolution-BatchNorm-ReLU 形式的模块是生成器G和鉴别器D 的基本组件。

在训练时，使用Adam来优化两个对抗网络。 使用标准训练GAN的方法：交替地对鉴别器D和发生器G进行优化。

在测试时，仅使用训练好的生成器G。

 

4.训练中的 Ground Truth

论文中提出了一种获得训练图像对的替代方法，该方法适用于任何商业OCT扫描仪用户。这个方法是：通过对来自多个OCT体积的Bscans进行配准和平均来获得高质量图像。

注：这里具体的方法，我看的不是很懂，所以这里就不写了。把这块的原文贴出来了，供参考。

 

 

 

三、实验设置

1.数据

实验中，使用两组训练数据，

训练数据1：使用具有3D黄斑中心扫描方案的中心波长为1050nm的Topcon DRI-1 Atlantis（Topcon C orporation，Japan）。

对应于6 * 2.6 * 6mm 的体积大小为：512 * 992* 256 (width , height, Bscans)

数据2：以3D黄斑中心扫描方案获取的，具有中心波长840nm的Topcon 3D OCT 2000（Topcon Corporation，Japan）

 对应于6 * 2.3 * 6 mm，体积大小为512 * 885 * 128（(width , height, Bscans）

2.实验细节

数据增强有：横向翻转。旋转。非刚性变换。应用不同的缩放因子来模拟测试数据的四种类型的像素大小（Bscan的几何大小除以相应维度中的像素数）。

在实验中，使用学习速率为2e-4和动量0.5的Adam优化两个对抗网络。

参数选择为α= 100且β= 1，因此L1 loss和边缘 loss 具有相同的数量级。

经测试，边缘损失的重量太大可能会使训练难以收敛。batchsize大小设置为1，训练epoch设置为100.

所提出的方法基于Tensorflow的Python编码，并使用具有12G内存的NVIDIA GTX Titan X GPU进行训练。

3.评价指标

实验中计算了四个性能指标：信噪比（SNR），对比度噪声比（CNR），等效外观数（ENL）和 边缘保存指数（EPI）。

为了计算这些度量，手动定义了intereset（ROI）的区域。

信噪比（SNR）:

 

max（I）表示图像I的最大像素强度，deta b是背景区域的标准偏差。

对比度噪声比（CNR）

CNR是信号区域与图像中噪声背景区域之间的对比度的度量。 第i个信号区域的CNR计算如下：

其中μi和σi表示图像中第i个信号区域的平均值和标准偏差，而μb和σb表示背景区域的平均值和标准偏差。

等效外观数（ENL）

ENL通常用于测量图像中均匀区域的平滑度。 图像中第i个ROI的ENL可以计算为：

其中μi和σi表示图像中第i个信号ROI的平均值和标准偏差。 

 

边缘保存指数（EPI）

EPI是一种性能测量，反映了在去噪后保持图像边缘细节的程度。 纵向EPI定义为：

其中 Io 和Id表示噪声图像和去噪图像，而 i和 j表示图像中纵向和横向的坐标。 如果在整个图像上计算，该指数可能不是边缘保持的准确指标，因为在去噪之后，在均匀区域中梯度将变得更小。 因此，我们只计算图像边界附近的（9）中的和。

 

 

四、结果

一些实验结果可以自行去看论文哦。