L-Seg: An end-to-end unified framework for multi-lesion segmentation of fundus images

L-Seg: An end-to-end unified framework for multi-lesion segmentation of fundus images

L-Seg:眼底图像多病灶分割的端到端统一框架

Song Guo

期刊：Neurocomputing –2区top

摘要：

糖尿病视网膜病变和糖尿病黄斑水肿是导致工作年龄人群失明的两大主要原因，这两种疾病的定量和定性诊断通常取决于眼底图像中病变的存在和面积。主要相关病变包括软渗出物、硬渗出物、微动脉瘤和出血。然而，由于这四种病变在大小、对比度和高类间相似性方面的不确定性，很难对其进行分割。因此，我们的目标是设计一个多病灶分割模型。我们设计了第一个可以同时分割四种病灶的小目标分割网络(L-Seg)。考虑到小的病变区域无法在高水平的网络中做出响应，我们提出了一种多尺度特征融合方法来处理这一问题。此外，在考虑类不平衡和损失不平衡问题的情况下，我们提出了一种多通道损失。我们在三个眼底数据集上评估了L-Seg，包括两个公开可用的数据集——IDRiD和e-ophtha，以及一个私有数据集——DDR。大量的实验表明，L-Seg在小病灶分割方面的性能优于其他深度学习模型和传统方法。特别是在IDRiD、e-ophtha和DDR数据集上，L-Seg的mAUC得分分别比DeepLab v3+高16.8%、1.51%和3.11%。此外，我们的框架与IDRiD挑战赛的前三名团队相比表现出了竞争力。

         贡献;

•我们提出了一种用于小病灶分割的MCB loss，既解决了分类不平衡问题，又解决了损失不平衡问题，避免了将小病灶误分类为背景或将背景误分类为病灶的趋势。

•我们在两个公开可用的数据集和一个私有数据集上进行了广泛的实验。消融研究表明，加权融合和MCB丢失都有利于提高多病灶分割的性能。对比研究表明，具有MCB损失的L-Seg在IDRiD挑战中优于最先进的分割模型，与最先进的系统相比具有竞争力。

Feature learning:使用在ImageNet上预训练的VGG16[24]作为L-Seg的骨干网络。VGG16由5组卷积层和3组全连通层组成。

随着网络的加深，每个卷积层的接受野都在增加。因此，学习到的特征从具有更多细节的低级特征到具有更多结构的高级特征。

对于多病灶分割的L-Seg，我们将VGG16的pool5层和所有的全连通层切掉，图2(a)中的conv1、conv2、conv3、conv4和conv5分别对应VGG16中的5组卷积层。

•侧特征提取和深度监督:每组卷积层中的最后一个与核大小为1 × 1，通道大小为c的卷积层相连，其中c表示病变类型的数量。为了使输出特征映射的大小与输入图像的大小相同，对特征映射进行上采样时使用了反卷积层。为避免深度监督下的梯度消失问题，在每侧特征映射上连接一个损失层。侧面特征提取模块结构如图2(c)所示。需要注意的是，1侧特征图不需要上采样，因为1侧特征图与输入图像大小相同。

•加权融合:为了增强LSeg的学习能力，将不同尺度的特征映射用加权融合模块进行组合，而不是简单的elwise - sum。如图2(b)所示，每种损伤的融合权值不同，通过端到端训练自动学习。

•损失层:L-Seg有6个需要优化的损失，包括5个深度监管损失和1个输出损失。每个损失对应一个独立的分割模型。loss layer的输入是feature map和对应的目标分割结果，两者的大小为H ×W× c，其中H和W分别表示输入图像的高度和宽度，c表示病变类型的数量。L-Seg的参数是通过反向传播这些损失来学习的.

如图2(b)所示，L-Seg中的加权融合模块由通道级拼接、特征融合和拼接操作组成。

按通道拼接:将5个特征图输入加权融合模块，从左到右分别表示为s1、s2、s3、s4和s5，每个特征图的大小为H ×W× c。si的c个通道中的每个特征图代表一种病变的特征图。

对于每一种病变，我们采用通道级联的方法融合了5个特征图。这个程序可以表述如下。

ConcatChannelk = concat(sk1, sk2, sk3, sk4, sk5)(1≤k≤c)(1)其中k为si的第k个通道。在按通道连接之后，生成c个特征映射(ConcatChannelk)，每个特征映射的大小为H ×W× 5。

特征融合:ConcatChannelk连接到一个1 × 1的卷积层。卷积核的值对应于融合权值。这个程序可以表述如下。

fuseChannelk = 5 i=1 wi kconcatchannelk(1≤k≤c)(2)，其中wi k为融合权值，ConcatChannelk为ConcatChannelk的第i个通道。

concat:加权融合模块的最后一步是连接大小为H ×W× 1的fuseChannelk。结果，生成大小为H ×W× c的模型输出，命名为side(fuse)。

如表1所示，病变像素与背景像素的分布高度不平衡，导致了常见的类平衡问题，容易将病变像素误分类为背景像素。权平衡s型交叉熵损失[18]可以处理类不平衡问题，但只适用于二值分类。多标签损失函数[26]是针对多类情况提出的，但由于眼底图像中每个像素只能有一个标签，因此不适合多病灶分割。本文提出了一种多通道损失函数，满足多病灶分割的特点。此外，作为多通道损失函数的改进版本，提出了MCB损失，以避免类不平衡和损失不平衡问题。

多通道损失函数定义如下：

多通道bin损失函数

MC损失通过权重因子β处理类不平衡问题。但是在MC loss中，背景像素容易被误分类为病变像素，因为背景像素的误分类损失比病变像素的误分类损失小得多，即存在loss-imbalance问题。在MC损失中，考虑了所有前景和背景像素。在实际应用中，由于背景像素与病灶像素的差异较大，很大一部分背景像素容易被分类。因此，我们提出了多通道bin loss (multi-channel bin loss, MCB loss)，这是MC loss的改进版本，通过更多地关注难以分类的背景像素来处理损失不平衡问题，并且在每次模型训练中只考虑损失高的前k个背景像素。MCB损失的公式与MC损失相似，定义如下:

I(k, I)的计算方法与式(3)相同。在MCB损耗中，IB(k, I)将背景像素分成两部分，计算损耗的像素和其他像素。IB(k, i)定义如下:

其中，Bk是第k个损伤中损失最大的λY+的背景像素的集合(即难以分类的像素)，其中Y+是损伤像素的数量，λ是超参数。因此，权重因子β可以计算如下:

现将五方深度监管损失之和定义为:

现将五方深度监管损失之和定义为:

最后，综上所述，我们的目标是通过反向传播算法最小化以下损失函数:

效果：