论文阅读（1）-基于多任务U-Net的病灶属性分割算法

Lesion Attributes Segmentation for Melanoma Detection with Multi-Task U-Net

摘要

黑色素瘤是全球最致命的皮肤癌。基于皮肤镜图像的深度学习，已经为黑色素瘤的早期检测做出了许多努力。识别特定的病变模式对于黑色素瘤的准确诊断至关重要。然而，常见的病变模式并不持续存在，并导致数据中的标签稀疏问题。本文提出了一种多任务U-Net模型来自动检测黑色素瘤的病变属性。该网络包括两个任务，一个是分类任务，对病变属性是否存在进行分类，另一个是分割任务，对图像中的属性进行分割。我们的多任务U-Net模型在ISIC 2018挑战赛任务2的官方测试数据上达到了0.433的Jaccard指数，在最终的排行榜上排名第5位。

1、引言

皮肤癌是世界上最常见的癌症之一，美国每年有100多万人被诊断出皮肤癌。黑色素瘤是最危险的皮肤癌，每年导致9000多人死亡[1]。晚期黑色素瘤可以扩散到身体的其他部位，因此很难治疗，通常会导致死亡。然而，早期黑色素瘤是可以治疗的，大部分可以治愈。为了在早期发现黑色素瘤，人们做了很多努力。皮肤镜检查是皮肤癌筛查中常用的一种非侵入性检查方法，用于检查色素性皮肤病变。它可以生成皮肤上病变区域的高分辨率图像。要诊断黑色素瘤，皮肤科医生仍然需要根据几种皮肤损伤模式对图像进行评估[2]。

皮肤镜图像的五种病变模式：

本文提出了一种多任务U-Net模型来自动检测黑色素瘤的病变属性。在U-Net模型中，我们用预先训练好的VGG16网络代替了U-Net的编码器部分[10]。我们在多任务学习的基础上进一步扩展了模型。在U-Net的中间层和最后一层，我们增加了两个分类头，对空掩码与非空掩码进行分类。实验结果表明，额外的辅助分类任务确实提高了分割任务的性能。在没有任何模型合集的情况下，我们的多任务U-Net模型在官方测试数据上的Jaccard指数达到了0.433，在最终的排行榜上排名第5位。我们解决方案的代码公开在https://github.com/chvlyl/ISIC2018。

本文大致想法是根据ISIC2018大赛任务二的要求，对不同皮肤病变类型进一步的属性分割，而不是对所有类型进行分割。

2、方法

2.1 数据

ISIC2018大赛官方提供的数据集

我们从ISIC 2018 Challenges网站[12]下载了任务2数据集。对于每幅皮肤图像，本任务旨在检测五种病变属性(色素网络、阴性网络、条纹、粟粒状囊肿和球形)。该数据集包括2594张图像和12970个GT mask(每个皮肤图像5个MASK)作为训练数据。皮肤图像是JPG格式的RGB图像，蒙版是PNG格式的灰度图像。这五个MASK对应于每个皮肤图像中的五个病变属性。请注意，皮肤图像中可能不存在某些属性，因此相应的遮罩为空。提供100幅图像作为验证数据，1000幅图像作为测试数据。比赛期间不提供验证数据和测试数据的地面真相面具，结果可以通过提交到比赛网站进行评估。

2.2 多任务模型

• 预训练的VGG16替换原始U-Net模型的编码器部分，预训练的权重基于数据集ImageNet得到。
• 跳跃连接部分选择了concate 操作
• 最后输出为5个通道的 分割掩码
• 损失函数选择的是二元交叉损失函数(L)+Jaccard Index(J)：

我们观察到，对于每个皮肤图像，并不是所有的病变属性都存在于MASK中。因此，我们使用多任务学习进一步扩展了模型，我们添加了两个分类头来分类空MASK与非空MASK。由于我们U-Net的最后一层是卷积层，输出的是五个特征图，所以我们在这最后的卷积层中增加了一个全局最大池化层，来对空MASK与非空MASK的五个属性进行分类。这个分类头作为一个正则化器。这个分类头中的全局最大池化将迫使网络中的分割任务在图像中没有对应属性的情况下预测空掩模，因为它们共享相同的特征图。我们还在中间层增加了另一个分类头，有一个1×1卷积层和一个全局平均池化层[14]。

最后的损失是由像素分割loss1、使用中间层损失的分类loss2和使用最后一层损失的分类loss3组合而成。我们对 loss2 和 loss3 采用二元交叉熵。我们为最后两个损失分配了0.5的权重。

2.3模型训练

原始皮肤图像大小不一，从540×722到4499×6748不等。我们首先将所有皮肤图像和相应的蒙版大小调整为512×512。然后，对于每个皮肤图像，我们将相应的五个灰度蒙版连接成一个五通道蒙版。每个通道为512×512掩码。皮肤图像和蒙版图像都被除以255，以将值缩放到[0，1]。

我们首先冻结了所有的编码器层，只训练了50个epochs的解码层我们使用。然后，我们又对整个网络进行了250个epochs的训练。Adam优化器的学习率为0.01，当5个epochs的验证损失没有改善时，我们将其降低了0.8。在训练过程中，我们通过随机翻转、旋转、缩放以及随机调整亮度和饱和度来增强皮肤图像和掩码。我们使用0.3的截止值将预测的概率转化为二进制掩模。整个分析是在PyTorch中实现的。

3 、结果

官方验证数据集上的Jaccard指数为0.477。在官方测试数据集上的最终Jaccard指数为0.433，在最终排行榜上排名第5。

4、讨论

**与传统的U-Net相比，**我们提出的模型有三个特点:(1)编码器部分被预先训练好的VGG16网络取代。已经证明，使用预先训练的VGG16网络。已经证明，使用一个预先训练的网络作为编码器可以导致更快的收敛和更好的结果[10]。(2)我们的模型利用多任务学习，包括两个任务，一个是分割任务，另一个是在网络中添加两个分类头的分类任务。我们的实验表明，额外的辅助分类任务确实提高了分割任务的性能。(3)与Jaccard索引[10]相结合，而不是使用二值交叉熵损失进行分割。

与使用复杂模型集成的其他赢家解决方案相比[11]，我们的模型要简单得多，但性能略差。我们认为，虽然模型集成通常有助于提高预测精度，但在实际应用中，特别是在生物医学领域，通常更倾向于使用简单的模型。

其他预先训练的网络可以用在U-Net的编码器部分。我们也尝试了预先训练好的DenseNet。然而，由于GPU内存使用率高，训练速度慢，最终的结果比使用VGG16作为编码器的结果要差。

我们还注意到，五个病变属性在训练数据中高度不平衡。例如，58.7%的皮肤图像具有色素网络属性，但只有2.9%的皮肤图像具有负网络属性。不平衡数据的分类通常很困难。一种可能的解决方案是在训练期间为每个属性分配不同的权重。然而，在我们看来，不同的重量配置并没有显著的改善。