HACDR-Net基于异构感知的糖网病分割网络

HACDR-Net: Heterogeneous-Aware Convolutional Network for Diabetic Retinopathy Multi-Lesion Segmentation

用于糖尿病视网膜病变多病变分割的异构感知卷积网络

深圳大学、中山大学、哈尔滨工业大学等学校

作者：徐启昊、罗晓玲、黄超、刘成良、文杰、王佳磊、徐勇

摘要部分：糖网病是致盲主要原因，通过视网膜多发病变来诊断、DR多病灶分割是图像分割中的一项难点任务，主要面临以下问题：

1. 病变在视网膜位置、形状大小各不相同。
2. 病灶占据眼底图像面积小，背景占比高，病灶分割困难。

为解决该问题，文章提出一种异构感知的卷积网络（HACDR-Net），该网络由异构交叉卷积、异构调制变形卷积和可选近距离感知卷积构成。该网络引入自适应聚合模块总结异质特征图，并沿着通道和空间得到异质感受野中不同病变区域。为解决病灶占比比平衡问题，使用新的分割损失函数：噪声调整损失（Noise Adjusted Loss）.该损失通过结合高斯噪声和硬例样本挖掘来平衡背景和病灶的预测特征分布，从而增强病灶感知。使用的数据集：DDR、IDRID

近期CNN与Transformer方法极大促进了DR多病灶分割的发展。但现有分割方法仍存在局限性：眼底图像病变形状不固定，病灶较小、在模型训练过程中可能更多关注背景而不是病变。如图1所示，多数模型通过大感受野获得全局位置关系，提高了分割精度，但大感受野仍会影响分割性能。文章提出基于异构感知的网络，异构感知的目的是讲不同结构的卷积特征聚合在一起，得到异质感受野。与以往方法相比，文章通过异质感受野提取异质特征对不同大小和形状的病灶具有良好的分割效果。另外该异构卷积结构具有空间自适应能力，可以减少大的不相关区域的扰动。

该模型聚合是一个难点，因此在异构接受域下特征可能会发生冲突。因此文章通过融合VAN设计了一个异构感知的注意力聚合模块（HAAA）用于融合异构特征。

另一个难点是病灶面积比例不平衡，这将会导致一些病变特征在训练时被忽略。文章指出，调整预测像素值可以改变预测像素分布。因此提出一种新的噪声调整损失（NALoss）该损失通过调整像素预测来平衡预测特征分布。在预测像素中加入高斯噪声干扰背景特征增强病灶特征。在测试阶段并不设计噪声添加。

总结文章所做贡献：

我们提出了一种新的异构感知卷积网络(HACDR-Net)用于DR多病灶分割。该网络具有异质接受野和空间适应性，解决了因病灶形状和大小不同而导致的分割问题。

•我们提出了一种新的损失函数噪声调整损失(NALoss)，专门用于拟合高度不平衡的分割。通过结合高斯噪声和硬样本挖掘来平衡预测特征的分布。

•HACDR-Net在两个数据集上进行了彻底的测试，并始终如一地取得了最先进的结果。DDR和IDRiD数据集上的各种指标都得到了显著改进。

模型整体架构图;

如图2所示，文章提出网络架构如图所示。编码器部分包括四个阶段，进行下采样。

编码器部分：本文编码器采用类似Transformer结构，包括可变性卷积下采样和HCA block。然而，不同于自注意和多头注意，我们提出了一种新的异构卷积注意来满足病灶分割的要求。在HCA Block中，HAAA通过多分支异构卷积获得异构特征映射，然后通过关注方法对这些特征进行聚合。这种非均质卷积机制可以沿通道和空间在非均质感受野中获得不同的病变区域。

HCA Block广泛使用MDConv。此外，下采样还采用了3×3 MDConv。与传统卷积相比，MDConv可以掌握各种病变的细节，并动态适应异质性特征。MDConv的定义如下:

其中

为输入特征，

为变形和增强特征，k为采样点总数，k为采样点枚举数。

表示第k个采样点的可学习权值，

表示第k个采样点的标量调制。用sigmoid函数归一化。

表示采样点的偏移坐标。

HAAA模块。为了解决不同形状和大小的病变导致的分割问题，我们使用多分支异构卷积来获得异构特征，如图2所示。在提取异构特征之前，HAAA模块使用5×5 MDConv进行特征动态适配。

我们设计了三个异构卷积分支，包括一个多尺度大核交叉卷积(MLKCC)分支、一个可变形交叉卷积(DCC)分支和一个可选的近远感知(ONFA)分支。如图2所示，k×k交叉卷积是特征通过1×k和k×1轴卷积的顺序卷积。我们在这里广泛使用交叉卷积来减少大的不相关区域的碰撞，同时获得和扩大异质接受域。MLKCC分支获得多尺度交叉感受野，捕捉病变的长期关系。仅获得单一形状的交叉感受野不能适应病变不同形状和大小的特点。DCC分支采用可变形交叉卷积获得动态的局部接受域。同时，DCC分支与5×5 MDConv构成了一个可变形的卷积残差结构，该结构具有动态自适应能力，可以得到不同形状的病变区域。ONFA分支由k×k可变形交叉卷积组成，增强了网络的适应性。我们对这些特征进行残差求和，形成异构特征映射。

最终，通过使用1×1卷积的特征注意力聚合实现异构特征通道的聚合，最终通过输入和输出矩阵乘法进行注意力操作。HAAA可表示为:

通过多分支异质卷积和注意聚合，HAAA具有异质感受野和动态自适应感知能力。

HAAA减少了多分支的特征碰撞，增强了对各种病变的认识。MLKCC的三个分支，DCC, ONFA和注意力聚合模块是必不可少的。如图3所示，异质卷积聚集的效果明显优于其他单分支。

DFFN模块。该模块主要增强了HAAA的局部特征。如图2所示，它采用残差卷积结构，可以选择MDConv和DWConv的形式。事实证明，这两种结构在不同的数据集上表现不同

解码器：根据DR多病灶分割的要求，我们选择U-net结构的网络。我们将编码器的多尺度特征结合起来，通过信道融合和上采样形成特征映射。最后，将其还原为掩码映射。基于U-net的解码器(Ronneberger, Fischer, and Brox 2015)在DR多病灶分割中效果最好。

损失函数：

文章提出NALoss（噪声调整损失）用于解决类别不平衡问题，特别是糖尿病视网膜病变（DR）多病变分割。下面是对NALoss的详细介绍：

NALoss旨在通过调整预测像素值的分布来平衡背景和病变的预测特征分布。具体来说，NALoss在训练期间向预测像素中添加高斯噪声，以扰乱背景特征并增强病变特征​

实现步骤：

  预测像素添加高斯噪声：

• 在训练期间，向每个预测像素添加带权重的高斯噪声。这种方法通过调整每个像素的预测值分布来平衡预测特征的分布。

  计算损失函数：

• 每个预测像素是一个c类别的向量，每个掩码像素是一个c类别的one-hot向量。预测像素pi表示为pi，掩码像素表示为gi，第k类的预测值和掩码值分别表示为pki和gki。

高斯噪声表示为N(0, σ²)，加权后的预测值公式为：

其中

是均值为0，方差为的高斯噪声。

是第k类的调整参数，用于控制噪声的影响。

调整参数 α：

• 调整参数 α的设计是为了平衡不同类别的像素数目。具体公式为：

其中

 表示训练集中所有图像中第k类像素的总数。

表示训练集中所有类别像素的总数。

损失函数计算：

加入噪声后的预测值通过Softmax函数进行归一化，然后计算交叉熵损失。公式为：

难例挖掘

为了进一步提升模型对病变区域的敏感度，NALoss引入了难例挖掘策略。

1. 难例挖掘公式：
   • 对于添加噪声后的预测像素，通过设定阈值 θ，选择那些预测误差较大的像素进行重点训练。具体公式为

实验部分：