[论文阅读] Multi-Task Learning for Thyroid Nodule Segmentation with Thyroid Region Prior

[论文地址] [代码] [ISBI 21]

Abstract

超声图像中的甲状腺结节分割是一项有价值和有挑战性的工作，对甲状腺癌的诊断具有重要意义。由于缺乏对甲状腺区域感知的先验知识，超声图像固有的低对比度以及超声视频不同帧之间复杂的外观变化，现有的直接应用语义分割技术的甲状腺结节自动分割算法容易将非甲状腺区域误认为结节。在这项工作中，我们提出了一种用于甲状腺结节分割的甲状腺区域先验特征增强网络(Thyroid Region prior guided Feature Enhancement Network, TRFE-Net)。为了促进甲状腺结节分割的发展，我们贡献了TN3k：一个开放的甲状腺结节图像的数据集，其中有高质量的结节mask标签。我们提出的方法在TN3k上进行了评估，与现有的最先进的算法相比，显示了出色的性能。

---

Intro

现有的分割方法在应用在甲状腺超声图像上会有个问题，即假阳性比较多，如下图所示：

其中绿色为GT，黄色为UNet结果，红色为本文方法结果。作者认为，由于甲状腺 结节(Thyroid Nodule) 一定是在甲状腺 腺体(Thyroid Gland) 之内，因此可以引入一个额外的甲状腺腺体分割任务，并进一步约束网络在腺体内部寻找病变。

---

Network

本文的网络框架如下，属于多任务学习的范畴：

具体来说，现在有两个不同的数据集，我们将其简记为A与B。A对应着上图的绿色部分，即 甲状腺腺体数据集 ，其中的图像只有甲状腺的 腺体 Mask标注；B对应着上图的蓝色部分，即 甲状腺结节数据集， 其中的图像只有甲状腺 结节 的Mask标注。

关于数据流向：

• 对于腺体数据，其经过共享Encoder编码后，仅被送入腺体Decoder(图中的绿色Decoder)，并接受腺体Mask GT的监督
• 对于结节数据，其经过共享Encoder编码后，首先送入腺体Decoder获取一组腺体预测；这组预测将会以注意力(通过RPG模块实现)的形式，对下方的结节Decoder进行约束，从而使得网络预测的结节尽可能在腺体区域内

---

Region Prior Guidance Module

区域先验指导(Region Prior Guidance, RPG)模块作用是将腺体Decoder学到的腺体信息整合进结节Decoder：

那么具体的融合方式的选择就有很多了：

• RPG-A是将腺体Decoder的最终输出特征进行Sigmoid，得到腺体区域预测结果。将该结果视为一种空间注意力图，与结节Decoder的各级输出相乘，以进行约束
• RPG-B与RGB-A的区别在于，其利用的是腺体Decoder各中间Block(而非最终Block)输出的腺体区域预测结果
• RGB-C与RGB-B的区别在于，将原有的空间注意力图替换成了残差连接

最终结果是(思路上最直观的)RPG-A的效果最好。因为理论上如果将本文的Multi-Task Learning机制给重新拆开的话，就是先预训练一个专门用于求甲状腺腺体区域的网络。而在进一步训练一个新的甲状腺结节的分割网络时，输入的图像要首先经过已有的腺体分割网络得到腺体，从而避免预测的结果不在腺体区域内。

---

Exp

这里只看消融实验：

其中Pretrain指单个网络现在腺体数据集上训练，然后再在结节数据集上finetune，可以看到效果与直接使用Unet在结节上训练几乎没有区别。从逻辑上讲，这应该是因为finetune的过程会override掉原有的参数，因此没法充分利用额外的甲状腺腺体标注数据。

此外还可以发现，对性能影响最大的为Multi Task Learning机制，也就是哪怕不施加任何注意力机制，通过拆分decoder也能有4%的性能增益；在Multi Task的基础上，继续增加attention模块也只能涨点0.5%，几乎可以忽略不计。