这是博主自己读论文的笔记哦,原文请在A Mutual Bootstrapping Model for Automated Skin Lesion Segmentation and Classification下载~
解决的问题:
- 皮肤病灶的分类与分割
模型设计的动机
- 分类与分割是两个高度相关的任务,但是当前的研究往往只涉及到其中一个任务
- 分割可以帮助消除图像中的干扰,提高分类准确性
- 特定类别的诊断可以突出病灶区域,有利于病变分割
损失函数设计的动机
- 分割中会面临class imbalance(类别不平衡,病灶区域与非病灶区域大小不同)
-hard-easy pixel imbalance(在病灶的中心区域easy positive,病灶边界hard positvie)的问题
模型
三个子网络:
- coarse segmentation network (coarse-SN)
- mask-guided classification network (mask-CN)
- enhanced segmentation network(enhanced-SN)
目的:
- coarse-SN可以为mask-CN提供粗糙的masks,给分类网络一些先验引导,排除一些干扰物,帮助分类网络更好的区分病灶
- 将mask-CN产生的病灶定位maps引入到enhanced-SN,分类网络中学习到的定位信息迁移到分割网络中,提高分割性能
流程:(分割数据集I_N,分类数据集I_M)
1.coarse-SN
- 用I_N训练coarse-SN,进行病灶分割,
- 大致分割出病灶区域,比较粗糙
2.mask-CN
- 将I_M送进训练好的coarse-SN中—得到I_M图像中对应的mask(包含病灶的位置信息,同时能够去除原始皮肤镜中干扰物)
- 将I_M与得到的mask结合起来作为mask-CN的输入
- 对预训练的Xception网络进行修改,minimizing cross-entropy loss
3.enhanced-SN
- 将I_N送入到enhanced-SN中,encoder得到的特征A
- 将I_N送人分类网络中得到病灶定位maps(如CAM)B
- 再把A,B合并送入enhanced-SN之后的网络中,进行分割
- enhanced-SN网络中的encoder和decoder与coarse-SN相同,共享参数
- 通过E-layer融合high-level image features and lesion localization information
分割任务损失函数:
- 目标函数
-
Dice loss 衡量预测值与真实值的一致性,该指标能够避免class imbalance
-
通常认为,易于识别的像素(例如位于内部病变和背景中的像素)对优化的贡献很小,而难以识别的像素(例如边界像素)为学习过程提供了更多信息,但由于每个图像中硬像素和易像素之间存在严重的不平衡,会影响模型性能。
最小化rank loss—使得H_1>H_0+m
- 对于比较容易分割的像素,如病灶中心区域、简单的背景区域,能够预测正确,H_1>H_0+m是很容易满足的
- 对于比较难区分的区域(边界/相似)难满足,要迫使病灶区域概率要大(–1),背景区域小(–0)
- 提高病灶区域边界分割的准确率