论文笔记《DermaKNet: Incorporating the knowledge of dermatologists to Convolutional Neural Networks for 》

这是博主自己读论文的笔记，论文题目太长标题都写不下了…
原文请在DermaKNet: Incorporating the Knowledge of Dermatologists to Convolutional Neural Networks for Skin Lesion Diagnosis下载~

解决的问题：

• 皮肤病灶诊断（分类）

动机：

• 基于CNN的计算机辅助诊断性能很高
• 但是缺乏对最终决策的潜在因素和属性的可解释性
• 限制了计算机辅助诊断的可行性和发展

模型：

1. Lesion Segmentation Network (LSN)

• 使用Fully Convolutional Network (FCN)
• training set ---- 2017 ISBI challenge（分割数据集）
• 将dermoscopic image Xc送入训练好的LSN网络中，得到mask-----Mc
• 只需要得到大致的分割结果
  

2. Data Augmentation Module and Normalized Polar Coordinates

• 在the pair {Xc;Mc}上面操作， 先旋转

• 由于旋转会产生不存在的新区域（黑色区域），对旋转后的图像裁剪了最大内部矩形

• 单张内部矩形产生的图像会丢失部分病灶，为此可以多次旋转和裁剪（实验中做了8次旋转，每次裁剪3个区域，最后一张原始图像增强后的图像集合有24张图）

• 对图像进行resize，以便作为之后模型的输入

• 为了在后续处理中针对病变的移位，旋转，大小变化甚至不规则形状变化提供不变性，为每个view生成归一化极坐标

  
  

3. Dermoscopic Structure Segmentation Network (DSSN)

• 目的：对于每一个输入，希望能够得到一种考虑皮肤镜特征的分割结果，其中皮肤镜特征与皮肤科医生在诊断中感兴趣的整体和局部特征相对应。

• Considered Dermoscopic Structures：考虑了八种皮肤镜特征的结构，点，小球，鹅卵石图案，网状等等

• A weak learning approach for segmentation：

  标签获取：

  • 获取每个样本的分割像素级别标签的代价很高，相比之下，获取图像级别标签的成本要低
  • 请皮肤科医生对ISIC 2016 dataset中包含哪一种皮肤镜特征的结构打标签
  • L(s) = 0（不存在该结构），1（占局部区域），2（占主导地位）

  模型设计：

  • Constrained Convolutional Neural Network 做弱监督分割

  • 将皮肤镜结构分割视为逐像素的标记问题
    
    

  • 由于标签存在高度不平衡，有的结构经常出现，而有的很少出现（但是对区分病变却很有用）

  • 引入权重w，衡量每张图中有价值的皮肤镜特征结构存在与否的程度。

  1. 当一张图像出现的特征都是经常出现时，得到的w很小
  2. 当一张图出现的特征都是罕见（包含信息多），w大
  3. 本文对一张图上的所有像素点使用同一个w
     
     

  优化目标（套用原始模型）

  • 利用图像级别标签分布来确定K个线性约束条件

  • 对参数θ来说是非凸的
    

  • 定义了一个variational latent probability distribution P(S)，与θ无关

  • 最小化KL散度使得P(S) and Q(S|θ)相似

  • 利用拉格朗日对偶优化目标函数
    

  本文使用的线性约束条件

  1. Absent structure
     

  2. Global structure
     

  3. Local structure
     

  4. Spatially localized structures（位置信息）
     

  DSSN实验可视化

4. Diagnosis Network (DN)

• Modulation Block：将DSSN分割结果整合到DN网络中

  1. Resnet50的输出
     

  2. DSSN分割maps
     

  3. Modulation Block的输出
     
     

• Polar pooling
  

• Asymmetry Block

  1. 计算病变相对于各个轴的不对称程度
     

5. Considering non-visual lesion meta-data in the diagnosis

• 利用数据集中年龄，性别，病灶区域相对于图像总大小的相对面积等信息
• SVM模型对each considered category c and the meta-data M建模，提供一个诊断概率