Learn to Segment Retinal Lesions and Beyond

Abstract

病灶分割+病灶分类+DR病变等级分类
三个challenge：
病灶缺乏客观的边界 --a re-designed expansive path (Lesion-Net)
病灶的临床重要性与其大小无关 (dual loss 同时病灶分割+病灶分类)
病灶和疾病类别之间缺乏一对一的对应（lesion-net作为classification branch的side-attention module，并且结果具有可解释）

提出新的数据集（retinal lesions） 12k, 8lesions

INTRODUCTION

眼底图像中的病变是什么以及它们在图像中的位置的问题，病变分割有可能使在图像水平上预测的疾病类别具有临床可解释性。
因此，在一个统一的框架内进行病变分割和视网膜疾病分类是有价值的。(multi-task任务的意义)
对于自然图像，语义分割任务和图像分类任务通常共享相同的类词汇表。因此，开发多任务方法似乎是相对简单的，例如，通过最大或平均池化将像素级预测的类转换为图像级预测的类。（mask rcnn？）

对于眼底图像， 病变标签和疾病分类缺乏一一对应关系，这意味着lesion segmentation不能直接转换为image-level DR分级。

1、病灶会存在在图片的不同区域，且具有不同的视觉外观。
2、与自然图像中的物体不同，视网膜病变在背景上缺乏清晰的边界。实际上，眼科医生不可能以同样的精确度分割病变，这意味着FCN必须从边界不精确的注释中学习。（医生给的标注都可能不一定是准的。。）

===>特别精确的分割在临床上，也是unnecessary。指出cutting-edge FCNs, e.g., DeepLabv3+ are over-designed for lesion segmentation.

虽然自然图像中物体的重要性很大程度上取决于其大小，但眼底图像中病灶的重要性并不取决于其拥有的像素数量。糖尿病视网膜病变根据病变类型分为5个级别，从DR0(即无DR)到DR4(即增殖性DR)。视网膜前出血，即使规模相对较小，也意味着DR4。

novelties

• 8病灶数据集（state-of-the-art）
• lesion-Net (a re-designed expansive path with its length adjustable and its upsampling operation lightweight trainable) + dual loss
• a multi-task network
• 在该数据集上实验验证该方法比较好，且 release part dataset （1593）

RELATED WORK

Models for semantic segmentation

• FCN–>UNet–>Unet with attention --> deeplabv3+

Retinal lesion segmentation

• 病灶分割需要从全局去看， 比如MA和iHE都是小黑点，但是MA容易在血管周围出现，且没有其它病灶时，极易是MA。

Lesion-enhanced DR grading

• two-step [34] 首先使用CNN将输入图像转换为权重图，将图像的所有patches分类为normal, MA或iHE。将图像乘以权重图，送入DR分级网络.
• lesion-guided attention mechanism
  上述都没有用到severe lesion， such as pHE, vHE, and NV.

approach

网络结构一目了然
inception-unet：没有经过五次上采样，而是比较了不同stage的上采样对最终结果的影响。最后综合的话LesionNet-16s效果最好